Twinparadox Factory

빅데이터 처리나 딥러닝을 하다보면 자연스럽게 마주하는 문제가 바로 메모리 문제다. 빅데이터 처리 같은 경우 그냥 파이썬에서 Numpy나 Dataframe을 사용하는 과정에서 발생하는 일이 흔하고, 그때마다 gc를 호출하거나, 처리하는 데이터의 양을 분할하는 방법, 변수 타입 변경 등 다양한 방법이 있어서 해결하기 쉬운데, 딥러닝은 그게 쉽지가 않다. 그래도 시도해볼 방법은 있다. 주로 메모리 에러를 마주할 때 보게 되는 메세지는 아래 부류들이다. OOM(Out of Memory)Resource exhausted: OOM when allocating tensor with shape Failed to get convolution algorithm. This is probably because cuDNN fa..

딥 러닝 모델을 개발하는 것은 매우 어려운 작업이다. 그냥 그걸 만드는 것에만 그치는 건 아쉽고, UI를 통해 모델을 출력 결과를 App으로 보여주게 구현해보는 것도 괜찮다. 모델은 Keras로 구현하였고 선형 회귀(Linear Regression) 모델로 구성했다. 그냥 거창한 거 넣을 것 없이 X1, X2, X3를 통해 Y를 예측하는 모델이며, target value는 다음 식으로 계산했다. Y = X1 + X2 - X3 학습 데이터는 난수를 통해서 생성했고 5000개의 샘플로 생성해서 학습시켰다. 데이터 생성 import numpy as np import pandas as pd X1 = np.random.randint(1, 1000, size = 5000) X2 = np.random.randint(..