2022-10-09 Naver boostcamp 일일노트 [보충]

09 Oct 2022 in Study

Transfer Learning

Save and load the model

• model.save()
  • model.state_dict() 로 모델의 파라미터를 표시
  • torch.save(model.state_dict()) 로 모델의 파라미터를 저장
    • 주로 .pt 확장자를 씀
• torchsummary 패키지
  • model 의 층과 파라미터를 파악하기 쉬움

Transfer learning

• 대용량 데이터셋 등 다른 것에서 만든 모델을 현재 다루는 데이터에 적용

• 현재 DL에서는 가장 일반적인 학습 기법

• 잘 학습된 모델에서 일부분만 변경하여 학습을 수행함.

• Freezing

  • pretrained model을 가져올 때 특정 레이어까지만 학습된걸 가져오고, 역전파 또한 특정 부분에서 되돌아가도록 지정해줌. 일종의 단계적 학습

    for param in my_model.parameters():
    		param.requires_grad = False
        ---> '''Frozen 시킴'''
    for param in my_model.linear_layers.parameters():
      	param.requires_grad = True
        ---> '''Frozen 풀어줌'''