[정리]모두를 위한 딥러닝 06 - Softmax

https://hunkim.github.io/ml/

Sung Kim 교수님의 모두를 위한 머신러닝/딥러닝을 정리한 것

Linear Regression

Multinomial Classification

- Multinomial classification은 여러개의 class로 이루어진 data를 classification하는 방법이다.

- A, B, C를 각각 분리하기 위해 3단계를 거친다.

- A인지 아닌지, B인지 아닌지, C인지 아닌지

- 이를 행렬식으로 나타내면 다음과 같다.

- 각각의 X와 w의 행렬곱을 통해 Y hat을 구한다.

- 하지만 이렇게 독립적으로 구할경우 class의 수가 클수록 복잡하다.

- 따라서 행렬의 성질을 이용하여 다음과 같이 Y hat을 쉽게 구할 수 있다.

- Y hat을 구했지만 원하는 결과가 아니다.

- Y hat을 0~1 사이의 값으로 만들기 위해 sigmoid 함수를 사용한다.

Softmax

- sigmoid의 결과 Y hat을 0~1사이의 값으로 변환하였지만 변환된 값들 간의 상대적인 차이를 알고싶다.

- softmax 함수는 sigmoid처럼 0~1사이의 값이며, 총합이 1인 확률 값으로 변환시켜준다.

A

One-Hot Encoding

- Softmax를 이용하여 첫번째 값이 가장 높은 확률로 A인것으로 예측 되었다.

- 가장 높은 값을 1, 제외한 나머지는 의미가 없기때문에 0으로 하는 One-Hot encoding을 적용한다.

Cross Entropy

- 예측값과 실제값의 차이(불확실성)를 검증할 때 사용

- entropy가 증가하면 불확실성이 증가한다.

- entropy를 감소시키는 방향으로 학습해야한다.

Logistic cost VS Cross entropy

- Logistic cost와 Cross entropy의 의미상 차이는 없다고 봐도 무방하다.

- cost를 구하는 과정에서 행렬을 이용하는 것이 차이점이라 할 수 있다.