뉴럴 네트워크 - MLP

선형회귀 가장 간단한 Linear Neural Networks 미분을 통해 loss의 최소화를 구하는 모델의 최적화를 진행. Backpropagation W와 b에 대해 반복적으로 update하여 최적의 w와 b를 구함. 단, update stepsize는 작게 설정해야 함. 하지만, 세상은 선형으로 이루어져 있지 않음. m차원에서 n차원으로 가고 싶다 => 행렬 사용하자! stack을 더 쌓고싶어? => deep하게 쌓아가면 됨. 근데 단순히 이렇게 쌓으면 한단짜리 선형변환과 다를 게 없다! 스택을 의미있게 쌓으려면? 단순히 선형 결합을 랜덤하게 반복하는 게 아니라, nonlinearity가 있는 activation function이 필요 (ReLU, Sigmoid, Tanh) 모델마다 필요한 acti..