05-18 01:37
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- selenium
- preprocessing
- 리눅스 마스터 1급
- spring
- descriptive statistics
- Reference Type
- X윈도우
- Entity Set
- 백준
- BFS
- 자바
- Inheritance
- Java
- 리눅스
- Operator
- systemd
- 셀레니움
- Polymolphism
- Unity
- Binary Search
- External Scheme
- Physical Scheme
- Class
- OOP
- X.org
- dbms
- Entity
- python
- Mac
- literal
Archives
- Today
- Total
목록계산 그래프 (1)
Byeol Lo
밑바닥부터 시작하는 딥러닝1 - 3. 오차역전파
경사하강법을 쓰기 위해서 손실 함수로부터 수정해야하는 기준치를 얻을 수 있다. 하지만 이 수치를 노드들에 어떻게 적용시킬지 의문이 생길 수 있고, 이렇게 노드들을 데이터들에 적용하는 단계를 오차역전파(Back Propagation)이라고 한다. 다음 예제를 보자. x+y = z라는 결과를 내뱉는 연산이다. 이때 x에 대한 z의 편미분과 y에 대한 편미분이 각각 1임을 알 수 있다. 이런 연산에서 Loss Function에서 얻은 값에 대해 편미분을 수행하는데, z의 결과를 도출하는 노드에 대해서는 해당 노드의 가중치에 dL/dz의 가중치를 넣게 된다. 즉, Loss Function을 계산하는데에 직접 맞닿아 있는 출력층은 dL/dz만 계산하면 된다. 하지만 그 전의 층으로 갈 때의 가중치는 x와 y의 결..
AI
2023. 6. 14. 11:08