[정리]모두를 위한 딥러닝 03 - How to minimize cost

https://hunkim.github.io/ml/

Sung Kim 교수님의 모두를 위한 머신러닝/딥러닝을 정리한 것

How to minimize cost

Cost Function을 그래프로 나타내면 다음과 같다.

우리의 목적은 cost function을 최소화하는것!

Gradient Descent Algorithm

- cost function을 최소화하기 위해 이용할 수 있는 방법 중 하나

- cost function 말고도 각종 optimization에 이용되는 일반적인 방법

- minimize하는 w와 b를 구할 수 있는 algorithm

algorithm 동작 방식

- ① : 임의의 지점에서 시작

- ② : w와 b를 수정하면서 cost를 줄인다.

- ③ : 그 당시 경사도를 미분을 통해 계산

- ④ : ① ~ ③ 반복하며 cost가 최소가 되는 지점을 구한다.

algorithm의 장점 : 어떤 점에서 시작해도 최저점에 도달

formal definition

 : 경사도(+ or -)

α : Learning Rate(상수)

- gradient descent가 올바르게 동작하는지 검증하기 위해 사용

- 크면 빨리 수렴하지만 정확도가 떨어지고 수렴하지 않을 수도 있다. 반대로 작으면 정확도는 높아지지만 오래걸린다.

cost function를 적용한 Gradient Descent Algorithm

Gradient Descent Algorithm의 문제점

- Contour plot : θ값을 가지고 cost function을 3차원으로 표현한 그림

<non-convex function>

- 시작점에 따라 W와 b가 다르다 => gradient descent후 도달하는 최저점이 다르다

=> 제대로 동작 X

<convex function>

- 어떤 점에서 시작해도 항상 도달하는 최저점이 같다.

결론 : cost function이 convex한 지 확인해봐야한다.