[정리]모두를 위한 딥러닝 07 - Learning rate, data preprocessing, overfitting

https://hunkim.github.io/ml/

Sung Kim 교수님의 모두를 위한 머신러닝/딥러닝을 정리한 것

Learning Rate

- 하강 정도에 따른 적절한 Learning rate를 정하자!

Data Preprocessing

                             

- data에 따라 그림처럼 gradient descent에서 차이가 생긴다.

- 효과적으로 학습하기 위해서는 data 전처리가 중요하다.

- 오른쪽 그림과 같이 data간의 차이가 클 경우 어떻게 처리를 해야할까?

Normalize

- machine learning의 성능을 높이기 위해서 normalize를 사용한다.

Overfitting

- machine learning의 가장 큰 문제점

- 학습 데이터에만 딱 맞는 model

- 실제로 사용해보면 잘 맞지 않는다.

- 어떻게 overfitting을 줄일 수 있을까?

① training data set을 많이 가지고 있는 것

② feature의 개수를 줄이는 것

③ Regularization

Regularization

- Overfitting 된 구부러진 model을 펴자!

- 구부린다 : weight이 큰 값, 편다 : weight을 줄이자.

- 어떻게?

- cost function에 term을 추가한다.

- regularization strength가 0일때 w의 비중이 줄어들고 클수록 w의 비중이 증가한다.

Data set

- 기존의 Training data set을 Training data set과 Validation data set으로 나누어서  적절한 Learning rate, regularization strength로 tuning한다.