AI/📚 Concept3

• 뉴럴 네트워크 - MLP 선형회귀 가장 간단한 Linear Neural Networks 미분을 통해 loss의 최소화를 구하는 모델의 최적화를 진행. Backpropagation W와 b에 대해 반복적으로 update하여 최적의 w와 b를 구함. 단, update stepsize는 작게 설정해야 함. 하지만, 세상은 선형으로 이루어져 있지 않음. m차원에서 n차원으로 가고 싶다 => 행렬 사용하자! stack을 더 쌓고싶어? => deep하게 쌓아가면 됨. 근데 단순히 이렇게 쌓으면 한단짜리 선형변환과 다를 게 없다! 스택을 의미있게 쌓으려면? 단순히 선형 결합을 랜덤하게 반복하는 게 아니라, nonlinearity가 있는 activation function이 필요 (ReLU, Sigmoid, Tanh) 모델마다 필요한 acti.. AI/📚 Concept 2022. 7. 19.

• 

  딥러닝 논문 트렌드 - Historical Review 지금까지 어떤 연구들이 중요했고, 트렌드인지 살펴보자. 2012 – AlexNet : 딥러닝의 역사적 시작. 이미지가 들어갔을 때 분류하는 것이 목적. 딥러닝의 성능을 보여줌 2013 – DQN : 딥마인드, 알파고 등의 기반 2014 – Encoder/Decoder : 단어가 주어졌을 때 시퀀스를 만들 때 활용 2014 – Adam Optimizer : 실험결과가 웬만하면 잘나온다 2015 – Generative Adversarial Network : 네트워크가 생성자(Generator) / 구분자 (Discriminator) 를 만들어서 학습 술 마시는 게 연구에 좋다는 사례 2015 – Residual Networks : Network를 깊게 쌓을 수 있게 만들어줌 (원래는 성능이 안 나와서 깊게 .. AI/📚 Concept 2022. 7. 16.

• 딥러닝 기본 용어 인공지능의 정의를 생각해보자. 인공지능은 인간의 지능을 모방하는 것 그 안에 많은 데이터들을 이용하는 머신러닝이 있는 것이고 (예 : 고양이, 강아지 사진 잔뜩으로 고양이인지 강아지인지 분류하는 거) 딥러닝은 그 안에 포함 된, Neural Network를 사용하는 기법 딥러닝 관련 논문을 볼 때 주요 키워드 논문을 볼 때 data, model, loss, algorithm을 생각하면서 보는 것이 좋다. data : 모델이 데이터를 통해 어떤 걸 학습해? model : 어떻게 데이터를 transform 할거야? loss : 모델 성능이 어때? 꼭 모든 Regression에서 MSE를 사용하지는 않는다. Loss Function을 줄이는 것만이 우리의 목적은 아니므로, 상황별로 따져봐야 한다. algori.. AI/📚 Concept 2022. 7. 16.