mAP
mAP란?
mAP는 mean Average Precision의 약자이다. 해석하면 평균 정확도의 평균이다.
좀 더 자세히 풀어보면, mAP는 AP(Average Precision)의 평균이고 , AP는 Precision의 평균이다. 따라서 mAP를 이해하기 위해서는 Precision부터 알아야한다.
Precision(정밀도)
pistive로 분류를 진행한 데이터 중, 실제 값의 positive 값
recall(재현율)
pistive로 분류를 진행한 데이터 중, 예측 값의 positive 값
이를 object detection 문제에 적용해보면, 여기서 모델이 검출한 object가 검출에 성공했는지를 판단하는데 문제가 발생한다. 검출 성공 여부의 기준을 GT box( ground truth box)의 predict(predict bounding box)와 동일한 것으로 두면 모델 입장에서 꽤나 억울한 상황이 발생할 것이다.
위와 같은 상황에서 모델은 검출에 성공한 것일까 실패한 것일까?
위에서 말한 것 처럼 GT box와 동일한 것을 기준으로 잡는다면 모델은 검출에 실패한 것으로 분류된다.
그러나 예측된 box를 보면 box 내에 object가 모두 담겨있고 GT box와 상당부분 겹쳐있다. 따라서 위와 같은 경우에 모델은 검출에 성공했다고 봐야할 것이다. 이러한 모델의 검출 성공 여부에 대한 기준을 잡기 위해 IoU를 사용한다.
IoU
IoU는 Intersection over Union의 약자로 한국말로 하면 “전체 영역 중 겹치는 영역” 이다.
즉, 모델이 검출한 predict가GT box와 얼마만큼 겹치는지를 나타내는 지표가 된다. 특정 임계값을 넘긴 predict에 대해서 TP로 판단한다.
PR Curve
PR Curve는 confidence score(신뢰도 점수)에 대한 임계값이 변화함에 따른 Precision과 Recall의 변화량을 나타낸 그래프이다. object detection에서 confidence score는 IoU가 된다.
AP
AP는 PR Curve의 아래 영역이 된다. AUC가 ROC curve의 아래 영역을 의미하는 것과 동일하다. Curve의 아래영역을 계산하기 쉽게 하기 위해서 PR Curve가 단조적으로 감소하도록 수정한 후 AP를 계산한다.
mAP
mAP란 각 class 별 AP의 평균을 나타낸 값으로 모델의 정확도를 측정하는 평가 지표가 된다.
정리
RCNN에 쓰이는 평가지표로써 mAP를 알아보았습니다.
mAP는 AP(Average Precision)의 평균이고 , AP는 Precision의 평균이다.
IOU를 통해 PR Curve의 신뢰도 점수를 뽑아낸다.
AUC를 단조적으로 감소하게 수정한 후 AP를 계산한다.
각 class별 AP의 평균을 나타낸다.
Reference
1) 물체 검출 알고리즘 성능 평가방법 AP(Average Precision)의 이해
2) mAP (mean Average Precision) for Object Detection