Index

Abstract

Advances in deep learning have significantly improved the face recognition performances. However, when a motion blur occur due to a movement of objects or camera, the recognition performances are degraded or become unstable. In this paper, we propose a motion blur degradation Index(MBDI) based on cosine similarity and also a regression network that predict MBDI. Through various experiments, we validate that our proposed MBDI represent a more realistic degree of motion blur.

1. Introduction

    Face recognition은 face image를 입력으로 받아서 어떤 사람에 해당하는 이미지인지 구분하는 task이다. 이 때, blur가 있는 이미지는 해당 task의 성능을 저하시킨다. 따라서 blurry한 이미지가 입력될 경우 선행 작업으로써 해당 이미지를 제외하여 이후 face recognition task의 신뢰성을 높일 필요가 있다.

    현재 다양한 blur detection 방법이 존재하나, 전통적인 방식의 blur detection은 얼굴 이미지에서 발생하는 blur에는 적합하지 않다는 한계가 있다. 구체적으로 현재 face recognition은 휴대폰으로 촬영된 사진을 대상으로 하는 경우가 대다수이기에 카메라 또는 사람의 움직임으로 유발되는 motion blur가 들어가 있는 경우가 많다. 여기서 motion blur란 촬영 대상 또는 카메라의 움직임에 의해 영상의 전체 또는 일부분의 구조적 정보가 흐릿하게 무너지는 blur를 의미한다. Face recognition model의 입력에 들어가는 motion blur는 모델 오작동의 원인이 된다. 구체적으로, motion blur는 신경망 모델 성능 저하뿐만 아니라 가상의 motion blur를 생성하여 특정 딥러닝 신경망을 공격하여 성능을 저하시킨다는 연구 결과가 존재한다. 따라서 얼굴 이미지의 blur 유무를 판별하는 것은 face recognition task에 있어 매우 중요하다.

    따라서 본 프로젝트에서는 motion blur를 측정할 수 있는 방법을 제안한다. Face recognition의 이전 단계로써 face image를 입력으로 받아서 얼굴 인식 전 face image에 blur가 존재하는지, 존재한다면 어느 정도 있는지를 판별하고, 더 나아가 해당 이미지로 얼굴 인식을 할 수 있는지 여부를 판단하는 모델을 개발하고자 한다. 해당 주제에 대한 연구가 현재까지 전무한 만큼, face blur detection 분야에 있어 본 프로젝트가 가지는 의미가 상당할 것으로 판단된다.

     본 프로젝트의 main contribution은 다음과 같이 정리할 수 있다.

Blur가 있는 얼굴에 대한 blur degree를 사람이 해당 얼굴 인식하는 정도를 반영하는 방법을 고안하고, 이를 이용해 데이터셋을 제작했다.
Face 에 대한 blur degree 예측에 적합한 모델 구조들을 제안하고 이들에 대한 여러 실험을 진행하여 검증하였다.

Reference 영상 신호처리에서 안면 인식 (Facial Recognition), 안면 특징점 추출 (Face Feature Extraction)은 주요 연구 분야이며 최근에는 딥러닝을 활용한 성능 향상에 따라 다양한 연구가 활발히 이뤄지고 있다. 또한, 이를 활용하여 출입 보안, 실종자 탐색 등 다양한 애플리케이션에서 사용되고 있다. 그러나 실제 사용에 있어서 선명하지 않은 영상은 큰 성능 저하를 초래할 수 있기에 열화되거나 선명치 않은 영상이 입력될 경우 선행 작업으로써 해당 영상을 제외하여 후속 작업의 신뢰성을 높일 필요성이 있다. 영상 신호 품질의 열화 종류는 다양하지만 안면 인식 등의 환경에서 가장 자주 발생하는 열화는 모션 블러 (Motion Blur) 열화이다. 이는 촬영 대상 또는 카메라의 움직임에 의해 영상의 전역 또는 일부분의 구조적 정보가 흐릿하게 무너지는 열화를 의미한다. 해당 열화는 단순한 신경망 모델 성능 저하뿐만 아니라 특정 논문에 따르면, 가상의 모션 블러를 생성하여 특정 딥러닝 신경망을 공격하여 성능을 저하시킬 수 있음을 보였다.

본 프로젝트에서는 안면 영상 신호에서의 모션 블러를 측정할 수 있는 방법을 제안한다. 이를 위해, 사전 학습된 딥러닝 인코더로부터 추출된 특징 벡터 (Feature Vector)간의 코사인 유사도를 이용하여 모션 블러 현상이 발생한 안면 영상의 열화도를 측정한다. 이때, 인코더는 모션 블러 현상이 일어나지 않은 선명한 영상으로 사전 학습시킨다. 다음으로, 위로부터 측정된 모션 블러 열화도를 회귀적으로 추정 가능한 모션 블러 열화도 추정 네트워크를 제안하여 선명한 영상 쌍이 없는 임의의 안면 영상에 대해서도 모션 블러 열화도를 추정할 수 있음을 실험적으로 보인다.

@진현빈(학부학생/사회과학대학 정치외교학과) ‍ 위에 준영이형이 작성한 부분이 조금 더 참고해서 전문적으로 보이게 하면 좋을듯! →오키용