XAI 기법과 CAM, Grad-CAM, ABM(activation based methods), BBM(backpropagation based methods), PBM(perturbation based method)

XAI 기법 : 인공지능의 판단 근거를 연구자가 이해할 수 있는 형태로 제시

인공지능의 특정 판단에 대한 이유가 ‘블랙박스’로 넘어가던 것과는 확실히 대비되는개념으로, 불확실성을 해소하여 인공지능에 대한 신뢰도를 높임

CNN 모델에서 convolution 및 pooling 층을 거칠 때는 클래스에대한위치 정보가 유지되지만, 마지막 출력층의 범주 분류를 위해 거치는 fully-connected 층에서는 위치정보의 손실이 발생함

위치 정보란 모델이 특정 범주로 판단을내릴 때 기준이 되는 픽셀의 위치별 중요도로 볼 수 있음

위치 정보의 소실을 막을수있다면 위치 정보의 시각화를 통해 모델의 판단 근거를 시각적으로 확인할 수 있음

해결책으로 제시된 것이 fully-connected 층을 GAP(global average pooling) 층으로 대체하는방법

GAP 층은 fully-connected 층과 다르게 위치 정보에 대한 특성을 그대로 보유하고있기에, CNN 모델의 출력층을 구조적으로 변경하여 CAM(class activation mapping)을 얻으면 위치정보의 식별이 가능함

CAM이란 최종 분류된 모델에서 이미지의 각픽셀이가지는 위치 정보를 지도화한 형태

CAM은

로 정의되며, 최종 출력 범주와GAP층 사이의 가중치 및 마지막 convolution 층에서 출력된 feature map과의 곱으로 얻을수있음

Mc(x,y)은 (x,y)에 위치한 픽셀의 클래스 c에 대한 CAM을 뜻하며, Fk(x,y)는 k번째 feature image, Wkc는 Fk(x,y)에서 클래스 c로 가는 가중치로 정의

 

CAM은 CNN 모델의 블랙박스를 시각화하여 해석 가능성을 제공한다는 점에서 아주유용한기법이지만, 모델 구조에 GAP 층을 반드시 포함 시켜 주어야 한다는 점에서 모델의 일반화 성능이 떨어짐

Grad-CAM 기법은 fully-connected 층이 존재하더라도특정층의 기울기(gradient)를 계산하면 CAM을 얻어낼 수 있어 GAP 층이 들어가지 않은 모든CNN모델에 적용 가능하다는 장점

CAM의 경우 GAP 층 이전의 convolution 층, 즉모델의마지막 convolution 층에 대해서만 결과 도출이 가능하나, Grad-CAM은 모든 convolution 층에대한CAM을 얻을 수 있어 더욱 발전된 기법

 

 

ABM(activation based methods), BBM(backpropagation based methods), PBM(perturbation based method)

ABM의 경우 각 신경망 층의 활성화 값들이 선형결합한형태의 가중치를 사용하여 이미지 픽셀 별 중요도를 계산

- CAM(classactivation mapping)과 CAM의 발전된 형태인 Grad-CAM(gradient-weighted class activation mapping

 

BBM은 각 입력값에 대해 역전파를 통한 오차를 계산하여 이미지 픽셀 별 중요도를나타내는 방법이며, 대표적인 기법으로는 LRP(layer-wise relevance propagation)

 

PBM은입력값의 변화에 따른 예측값의 변화량을 통해 픽셀 별 중요도를 파악하는 방법이며, 대표적인기법으로 LIME(local interpretable model-agnostic explanation)