NLP

Model 평가 및 지표들

still..epochs 2023. 7. 31. 21:18

정성적인 지표

R2 Score

- Regression Model 의 정성적인 적합도 판단

  - R2는 평균적으로 예측한 것에 비해 분산을 얼마나 축소시켰는지에 대한 판단

  - 보통은 Correlation의 제곱으로 표현한다.

 

- 정성적인 판단이 필요한 이유는 통상적인 Model의 예측력을 판단하기 위함이다

  - 0 ~ 1 사이의 값을 갖고 1에 가까울 수록 좋은 모델이다.

출처 : https://vitalflux.com/mean-square-error-r-squared-which-one-to-use/

  -R2 Score = SSE / SST = 1 - SSR / SST

-SST : 총 편차 / SSR : 회귀식과 평균으로 예측한 것의 차이

-보통 0.25 이상일 경우 유의미하다고 판단한다.( 평균 예측한것 대비, 분산을 25% 이상 줄여준 것 )


정량적인 지표

Mean Absolute Error : MAE - 평균 절대 오차

- 실제 값과 예측 값 사이의 절대적인 오차의 평균을 이용

- MAE의 값은 미분을 하지 못하는 절대값이므로 잘 사용하지 않는다.

 

Mean Absolute Percentage Error : MAPE - 평균 절대  비율 오차

- 실제값 대비 얼마나 예측 값이 차이가 있는지를 %로 표현한다.

- 상대적인 오차를 추정하는데 주로 이용한다.

 

 

 

Mean Squared Error & (R)MSE

- 부호의 영향을 제거하기 위해 절대값이 아닌 제곱을 취한 지표

- MSE 인 경우 에러의 크기가 커지면 커질수록 에러가 크게 된다.( 모델에 영향을 많이 줌)

- 이 영향을 줄여주기 위해 RMSE가 나온것

'NLP' 카테고리의 다른 글

Kfold( Cross Validation 교차검증 )  (0) 2023.08.03
Confusion Matrix, Accuracy, Precision, Recall, F1 score  (0) 2023.08.02
reset_index() 사용 방법  (0) 2023.07.27