[Backpropagation]

‘Backpropagation이 구현이 되어있는가?’ 아는 것이 중요함.

Neural Network나 이런 것들을 pytorch 등으로 많이 다뤄봤을텐데 이런 프레임워크는 그냥 NN 학습만을 위해 존재하는 것이 아니라는 것을 알아야 한다.

 

 

기울기가 양수면, 기울기 만큼을 빼준 다음 상태(왼쪽)로 이동한다.

 

반대로, 기울기가 음수면, 음수 기울기 만큼을 빼준 다음 상태(오른쪽)로 이동한다.

 

 

 

기울기 값 만큼을 빼는 이유는, 목표 지점까지 기울기 값은 0으로 수렴하는 형태이기 때문이다. 목표 지점에 다가갈 수록 기울기는 0에 가까워지면서 감소 폭이 줄어들기에, 점점 정교하게 다가갈 수 있다.