https://hunkim.github.io/ml/Sung Kim 교수님의 모두를 위한 머신러닝/딥러닝을 정리한 것 Nerual Network NN 왜 쓸까?- data의 feature가 매우 많을 때 logistic regression으로는 성능이 떨어지거나(연산량↑), overfitting의 문제가 발생할 가능성이 커진다.- Backpropagation(Chain-rule)으로 계산량을 대폭 줄일 수 있기 때문에 NN을 사용한다. XOR문제 - 하나의 unit으로는 xor문제를 절대 풀 수 없다(수학적으로 증명되었다)- 각각의 weight와 bias에 대해 어떻게 학습에 어려움이 있다. - 우선 다음과 같이 두개의 unit으로 xor문제를 해결할 수 있다!- 이 두개의 unit을 Multinomial..
https://hunkim.github.io/ml/Sung Kim 교수님의 모두를 위한 머신러닝/딥러닝을 정리한 것Learning Rate - 하강 정도에 따른 적절한 Learning rate를 정하자! Data Preprocessing - data에 따라 그림처럼 gradient descent에서 차이가 생긴다.- 효과적으로 학습하기 위해서는 data 전처리가 중요하다.- 오른쪽 그림과 같이 data간의 차이가 클 경우 어떻게 처리를 해야할까? Normalize - machine learning의 성능을 높이기 위해서 normalize를 사용한다. Overfitting- machine learning의 가장 큰 문제점- 학습 데이터에만 딱 맞는 model- 실제로 사용해보면 잘 맞지 않는다. - 어떻게..
https://hunkim.github.io/ml/Sung Kim 교수님의 모두를 위한 머신러닝/딥러닝을 정리한 것 Linear RegressionMultinomial Classification - Multinomial classification은 여러개의 class로 이루어진 data를 classification하는 방법이다.- A, B, C를 각각 분리하기 위해 3단계를 거친다.- A인지 아닌지, B인지 아닌지, C인지 아닌지- 이를 행렬식으로 나타내면 다음과 같다. - 각각의 X와 w의 행렬곱을 통해 Y hat을 구한다.- 하지만 이렇게 독립적으로 구할경우 class의 수가 클수록 복잡하다.- 따라서 행렬의 성질을 이용하여 다음과 같이 Y hat을 쉽게 구할 수 있다. - Y hat을 구했지만 원하..