머신러닝 모델의 성능(모델의 성능을 정량화)을 평가하기 위해 다양한 성능 지표가 사용됩니다.
일단 머신러닝의 성능지표는 실제 값과 모델에 의해 예측된 값을 비교하여 머신러닝 모델이 얼마나 학습을 잘했는지 평가하기 위한 척도를 의미합니다.
일반적으로 머신러닝은 다음과 같이 3개의 학습부류로 나뉩니다.
- 지도학습
- 비지도학습
- 강화학습
이 지표들은 문제의 유형(분류, 회귀 등)에 따라 다르며, 모델의 강점과 약점을 파악하고 개선 방향을 제시하는 데 중요한 역할을 합니다. 아래는 주요 성능 지표와 그 특징에 대한 설명입니다.
분류 문제의 성능 지표
- 정확도 (전체데이터 중 올바르게 예측한 비율)
- 정밀도 (양성으로 예측된 것 중 실제 양성인 비율)
- 재현율 (
- F1-Score
- ROC-AUC
분류 문제에서는 데이터가 특정 클래스에 속하는지를 예측합니다.
이를 평가하기 위한 주요 지표는 다음과 같습니다:
정확도(Accuracy)
전체 데이터 중에서 모델이 올바르게 예측한 비율을 나타냅니다.
- 장점: 간단하고 직관적.
- 단점: 데이터가 불균형할 경우(예: 클래스 간 비율 차이가 클 때) 성능을 제대로 반영하지 못함[1][3][6].
정밀도(Precision)
양성으로 예측된 것 중 실제로 양성인 비율.
- 중요성: 오탐(False Positive)을 줄이는 것이 중요한 경우(예: 스팸 필터링).
재현율(Recall)
실제 양성 데이터 중에서 모델이 양성으로 올바르게 예측한 비율.
- 중요성: 음탐(False Negative)을 줄이는 것이 중요한 경우(예: 암 진단).
- F1 점수(F1 Score)
정밀도와 재현율의 조화 평균으로, 두 지표 간의 균형을 평가.
- 활용: 정밀도와 재현율이 모두 중요한 상황에서 사용[2][7].
- ROC-AUC (Receiver Operating Characteristic - Area Under Curve)
- ROC 곡선은 민감도(재현율)와 특이도(1 - 거짓 양성률)의 관계를 나타냅니다.
- AUC 값은 곡선 아래 면적으로, 모델의 분류 능력을 수치화합니다. 값이 1에 가까울수록 좋음[3][9].
회귀 문제의 성능 지표
- MAE
- MSC
- RMSE
- R² 점수(Coefficient of Determination)
회귀 문제에서는 연속적인 값을 예측하며, 주요 지표는 다음과 같습니다:
- 평균 절대 오차(MAE, Mean Absolute Error)
- 예측값과 실제값 간의 절대 차이 평균. 직관적이고 이상치에 덜 민감함.
- 평균 제곱 오차(MSE, Mean Squared Error)
- 오차를 제곱하여 평균화. 이상치에 민감.
- RMSE (Root Mean Squared Error)
- MSE의 제곱근으로, 원래 데이터 단위로 해석 가능.
- R² 점수(Coefficient of Determination)
모델이 데이터를 얼마나 잘 설명하는지를 나타냄. 값이 1에 가까울수록 더 나은 모델[2][8].
지표 선택 시 고려 사항
- 문제 유형(분류/회귀)에 따라 적합한 지표를 선택해야 합니다.
- 데이터 불균형 여부를 고려해야 합니다.