DKT 대회 베이스라인 설명 - Naver Boostcamp 9주차 스페셜 세션
in Study
AUC만 보는 것이 맞는가?
AUC가 좋은 지표이긴 하지만, 다양한 metric을 고려해 보는 것이 좋다.
Hyperparameter Tuning
Transformer 계열 모델은 seq_length의 제곱에 계산복잡도가 비례하기 때문에, 문제를 너무 많이 푼 학생의 경우에는 데이터를 줄이는 방식 (다른 데이터로 취급하거나, 최대 이상 횟수를 버리는 등)으로 접근해 볼 수도 있다.
Confusion Matrix
예측이 틀린 부분은 어떤 원인으로 인해 틀리는지, 이를 분석하는 것도 좋다.