※ 김성훈 교수님의 [모두를 위한 딥러닝] 강의 정리
- 참고자료 : Andrew Ng's ML class
1) https://class.coursera.org/ml-003/lecture
2) http://holehouse.org/mlclass/ (note)
3) http://cs231n.stanford.edu/
1. LeNet-5 [LeCun et al., 1998]
- 6개의 hidden layer 사용
※ softmax에서 좋은 결과를 내기 위한 두 가지 방법 : Deep(layer를 여러 개) & Wide(하나의 layer에 노드를 많이)
2. AlexNet [Krizhevsky et al. 2012]
- 원본 그림 : 크기 227x227, 색상 RGB 3가지
- 필터 : 크기 11x11, 개수 96
- W 개수 : 11x11x3
- AlexNet 전체 네트워크 구성 : ReLU를 사용한 첫 번째 모델, dropout 및 ensemble도 적용함
3. GoogLeNet [Szegedy et al., 2014]
- 새로운 이론 'inception module' 적용
4. ResNet [He et al., 2015]
- 152개의 layer 사용, 2~3주간 8개의 GPU로 학습
- VGANet(2014년 ImageNet 대회 출전 모델 - 당시 16개의 CONV/FC layer만 사용)보다 빠름
5. ResNet vs GooLeNet
6. CNN for Sentence Classification [Yoon Kim, 2014]
7. AlphaGo [DeepMind]
- 19x19 크기의 이미지 사용 -> 패딩을 적용하여 23x23 크기로 재구성
- 48개의 feature planes(채널) 사용 -> 바둑돌 하나 놓을 때마다 48가지 특징으로 판단 (이세돌이 한판이라도 이긴게 대단한 거 아닐까..)
'Deep Learning' 카테고리의 다른 글
| [머신러닝/딥러닝] Convolutional Neural Network(CNN) (0) | 2020.01.03 |
|---|---|
| [머신러닝/딥러닝] 딥러닝으로 MNIST 98%이상 (0) | 2020.01.03 |
| [머신러닝/딥러닝] Dropout & Ensemble (0) | 2020.01.03 |
| [머신러닝/딥러닝] Weight 초기화 잘해보자 (0) | 2020.01.02 |
| [머신러닝/딥러닝] Sigmoid << ReLU (0) | 2019.12.30 |
