728x90
회귀 모델링 예제
https://colab.research.google.com/drive/1qusPaD7MjKSkBi42iOVfaeesAjDG-bW9#scrollTo=d7PI9-30TO0T
2-1 회귀 모델링.ipynb
Colab notebook
colab.research.google.com
위 실험에서 실습 2에서
- 이번에는 여러분이 원하는 구조와 하이퍼파라미터 값을 조정하여 성능을 높여 봅시다. 에서 기존에 옵티마이저는 Adam을 사용했고, 최근 회귀 모델에서는 Adam을 많이 사용하는 것을 알고는 있지만, RMSprop 옵티마이저를 사용해 봤습니다.
RMSprop (Root Mean Square Propagation)
기존 모델에서 사용했떤 Adam 대신 RMSprop 를 사용한 이유와 장점
- 가중치 업데이트의 크기를 조정
- RMSprop는 각 가중치의 변화량을 지수 평균(Exponentially Weighted Moving Average)으로 추적하면서 학습률을 조정해줌
- 변솨가 큰 가중치는 작은 학습률을 적용하고, 변화가 작은 가중치는 상대적으로 큰 학습률을 적용함
- 이를 통해 학습 안정성이 향상됨
- 학습률 조절 (Adaptive Learning Rate)
- 과거 기울기의 제곱을 이용해 업데이트 크기를 조정하므로, 학습률을 따로 크게 조정하지 않아도 수렴이 빠르게 진행
- 특히 비등방성(Anisotropic)데이터 분포에서 Adam보다 안정적으로 동작하는 경우가 많음
- 왜 Adam 대신 RMSprop를 선택했는가?
- Adam의 빠른 최적화가 꼭 좋은 게 아닐 수 있음
- RMSprop는 과적합을 방지하고, 안정적인 학습이 가능하도록 도와줌
- 특히, 비등방성 데이터나 순환신경망(RNN) 등에서 강점을 보이므로, 데이터 특성에 따라 더 좋은 결과를 낼 수도 있음
- 즉, Adam이 너무 빠르게 최적화되면서 성능이 낮아지는 경우, RMSprop 를 사용하면 더 안정적이고 일반화 성능이 좋은 모델을 만들 수 있다.
종합 실습
카시트 판매량 데이터를 이용한 회귀 모델링 진행
https://drive.google.com/file/d/1UQsPnenJegIaEKtO5Z1N_QeR4vqF4R9_/view?usp=sharing
2-2 실습_회귀 모델링.ipynb
Colab notebook
drive.google.com
학습한 내용을 바탕으로 카시트 판매량 데이터를 활용해서 회귀 모델링 진행해 보았습니다.
딥러닝을 위한 데이터 로더부터 학습을 위한 함수 검증을 위한 함수를 만들어보고, 직접 학습 곡선, 데이터 로딩 및 데이터 준비, 가변수화, 데이터 분할, 스케일링, 텐서로 변환 모델링 및 학습 모델 평가까지 일련의 과정을 차근차근 진행해봄
지금까지 배운 내용 요약
728x90
