Twinparadox Factory

빅데이터 처리나 딥러닝을 하다보면 자연스럽게 마주하는 문제가 바로 메모리 문제다. 빅데이터 처리 같은 경우 그냥 파이썬에서 Numpy나 Dataframe을 사용하는 과정에서 발생하는 일이 흔하고, 그때마다 gc를 호출하거나, 처리하는 데이터의 양을 분할하는 방법, 변수 타입 변경 등 다양한 방법이 있어서 해결하기 쉬운데, 딥러닝은 그게 쉽지가 않다. 그래도 시도해볼 방법은 있다. 주로 메모리 에러를 마주할 때 보게 되는 메세지는 아래 부류들이다. OOM(Out of Memory)Resource exhausted: OOM when allocating tensor with shape Failed to get convolution algorithm. This is probably because cuDNN fa..

머신 러닝(Machine Learning) 학습을 하고 나면 기존의 유명 데이터셋들(유방암, 붓꽃, 와인 등)만 사용하는 것이 아닌, 다른 데이터셋을 활용해서 그럴싸한 프로젝트를 시도해보고 싶어진다. 유명 데이터셋들에서 파생된 간단한 모델들이 존재하긴 하지만, 그보다 더 다양한 데이터셋과 머신러닝 모델을 만들어보고 싶다면, 참고할만한 github repository를 하나 공유하려고 한다. https://github.com/NirantK/awesome-project-ideas NirantK/awesome-project-ideas Curated list of Machine Learning, NLP, Vision, Recommender Systems Project Ideas - NirantK/awesome-..