카테고리 없음

10주차 TIL - 저점매수 모델 만들다가 하락장 예측이 꼬였다

게임취업하고싶은 사람 2025. 4. 2. 21:06

✅ 1. 클래스별 성능 요약 (5단계 라벨)

클래스의미PrecisionRecallF1-score해석
0 급하락 0.24 0.24 0.24 이전보다 recall 약간 개선
1 하락 0.27 0.36 0.31 성능 향상. 비교적 잘 잡힘
2 횡보 0.47 0.64 0.54 모델이 가장 강한 클래스
3 상승 0.23 0.06 0.09 recall 하락 → 허위 신호 많음
4 급상승 0.11 0.09 0.10 아직도 거의 못 잡음

📊 Confusion Matrix 분석

css
복사편집
실제 0 1 2 3 4 예측 0 [13, 5, 17, 8, 8] ← 급하락 예측은 여전히 다른 클래스로 많이 퍼짐 예측 1 [19, 56, 51, 57, 27] ← 하락 class는 recall 가장 좋음 예측 2 [ 8, 19, 114, 48, 15] ← 횡보 예측이 전체 중심 예측 3 [ 1, 9, 7, 8, 3] ← 상승 예측 거의 없음 예측 4 [14, 9, 5, 14, 5] ← 급상승도 **다른 클래스로 대부분 분산**
  • **클래스 2 (횡보)**는 예측을 집중적으로 잘 수행 중
  • **급상승/급하락 (0, 4)**은 여전히 recall과 precision 모두 낮음
  • **클래스 1 (하락)**이 상대적으로 더 좋아졌다는 점은 긍정적

📌 종합 평가

항목수치의미
Accuracy 0.33 5-class 기준에서 무작위보다 낫다
Macro avg F1 0.25 클래스 간 예측 균형은 여전히 낮음
Weighted avg F1 0.30 전체 샘플 기준 성능은 약간 향상

✅ 효과가 있었던 부분

  • 하락 클래스(1)의 성능이 분명히 개선됨 (Recall 0.36 → 기대 이상)
  • **횡보 클래스(2)**는 여전히 높은 정확도를 유지함
  • 기술 지표 추가가 일부 구간의 구분성을 향상시킴

❗ 여전히 부족한 부분

  • 급상승/급하락 클래스의 예측력이 낮음 → 극단적 이벤트 탐지 능력 부족
  • 시계열 구조만으로는 극단적 변화 전후의 흐름 감지에 한계 존재
  • 모델 구조가 단일 GRU → 더 정교한 인식 필요

🎯 다음 추천 단계

우선순위전략목적
✅ 1 CNN-GRU 하이브리드 모델 노이즈 제거 + 국지적 패턴 학습 강화
✅ 2 변동률 예측을 Regression으로 전환 상승/하락 확률 또는 크기 자체 예측
3 Transformer / Attention 구조 장기 의존 관계 포착