일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |
- Operator
- X.org
- dbms
- Entity
- Inheritance
- 자바
- Entity Set
- Polymolphism
- Class
- Java
- X윈도우
- External Scheme
- python
- Mac
- Physical Scheme
- Reference Type
- 리눅스
- preprocessing
- 백준
- literal
- spring
- 셀레니움
- selenium
- BFS
- Binary Search
- systemd
- 리눅스 마스터 1급
- OOP
- Unity
- descriptive statistics
- Today
- Total
목록preprocessing (2)
Byeol Lo
우선 신경망에서 가장 중요한 input data가 있어야 학습할 수 있다. 주어진 훈련 데이터를 통해 출력 데이터로 변환시키는 알고리즘을 학습한다. 알고리즘을 크게 본다면 순서는 다음과 같다. Data Preparation Data Visualization Data Pre-Processing Data Load Model Architecture Hyper Parameter Model Train Model Valid Model Test Model Deploy 앞의 두 파트는 여기서 다루지 않겠다. 이 글은 오직 Data Pre-processing부터 다루며 또한 이 글은 numpy에 대한 기본적인 지식이 어느 정도 필요해야 한다. 또한 필요할 때마다 해당되는 팁이나 지식을 그때그때 다룰 것이다. 토치는 Te..
Pytorch에서 프로젝트를 수행하면서 이미지 처리를 했었는데, 회고록의 느낌으로 포스트를 남긴다. 다른 분들에게도 다음과 같은 오류들이 있을 수 있기 때문에 그 분들에게 도움이 되었으면 한다. Data Download & Pre-Processing 대용량의 데이터를 다운 받을 때 혹은 전처리를 할 때는 다음 multi-processing을 써서 다운로드 받는게 좋다. 환경마다 다 다른 cpu 개수를 가지고 논리 프로세서 개수 또한 지원이 다르기에 다음과 같은 코드를 활용하자. python의 multiprocessing은 따로 공부를 해서 이용하는 것을 추천한다. # Python 3.8.12 import multiprocessing MULTIPROCESSING_WORKERS = multiprocessin..