2022-10-04 Naver boostcamp 일일노트
in Study
딥러닝의 간단한 역사
2018 - Bert
- fine-tuned NLP models
2019 - BIG Language Models
- GPT-3 -> BERT 의 끝판왕 - 175 * 십억 개의 파라미터
2020 - Self Supervised Learning
- SimCLR
- 학습 데이터를 시뮬레이터를 이용하여 추가로 생성해 내는 방식도 생김.
관련 블로그
https://dennybritz.com/posts/deep-learning-ideas-that-stood-the-test-of-time/
Neural Networks & Multi-Layer Perceptron
Neural Networks
- 어떤 입력 데이터가 있을때 그것으로 출력값이 나오는 함수의 근사 과정
- affine transformation (linear mapping method, 일반적 행렬 연산) 과 nonlinear transformation (활성화함수)를 쌓아놓은 형태
- nonlinearity 를 affine 변환 중간에 넣어줌으로서, 딥러닝으로서의 특징이 생겨나게 된다. 이게 없다면, 선형변환의 단순 결합이므로 그냥 하나의 뉴런과 다를 게 없다.