파인튜닝(fine-tuning)
라이언의 꿀팁백과
Fine-tuning은 이미 특정 데이터셋에 대해 훈련된 모델을 새로운 데이터셋에 대해 추가적으로 학습시키는 과정을 의미합니다. 이 방법은 전이학습(transfer learning)의 한 형태로 볼 수 있으며, 원래의 작업에서 얻은 지식을 새로운, 다소 관련된 작업에 활용하는 것을 목표로 합니다.
Fine-tuning 과정에서는 사전 학습된 모델의 가중치를 초기값으로 활용합니다. 이 모델의 초기 계층들은 보통 범용적인 특징(예: 이미지의 엣지나 텍스처와 같은 저수준 특징)을 포착하는 데 중점을 둔다면, 후속 계층들은 새로운 데이터셋의 특화된 정보와 고수준의 특징을 학습하게 됩니다.
대량의 데이터셋에서 사전 학습된 모델을 Fine-tuning하는 방식의 큰 장점은, 새로운 데이터셋의 크기가 상대적으로 작더라도 모델이 과적합되는 것을 방지할 수 있습니다. 이로 인해 새로운 작업에 대해 높은 일반화 성능을 보이며 효율적인 학습 시간 안에 훌륭한 성능을 나타내는 모델을 얻을 수 있게 됩니다.