Computer Vision의 다양한 분야 중 이번에는 Image Inpainting!
모자이크, 일부 원하지 않은 객체에 의해 원하는 사진이 안나온 경험은 누구나 한 번쯤은 겪었을 것이라고 생각합니다. 이를 수정하는 image inpainting을 아시나요? 번역하면 이미지 복구라고 합니다.
이번에는 image inpainting 논문 중에서도 따끈따끈한 논문을 가져왔습니다. 논문의 제목은 EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning 입니다. 2019년 1월에 발행된 논문입니다.
논문 제목이 다른 image inpainting과 다르게 edge라는 키워드가 있어서 가져왔습니다. 항상 이런 creative한 생각들이 너무 좋습니다.
초록으로 읽기
image inpainting은 지난 몇 년 간의 딥러닝 기술로 상당한 성능 향상이 이루어진 분야입니다.
그러나 아직 기술 중에 대다수는 과도하게 매끄럽거나(over-smoothed), 흐리게 복구하여 합리적인 구조를 재구성하지 못합니다.
본 논문에서는 세부적인 디테일에 더 나은 성능을 내는 접근법을 만들었습니다.
본 논문에서는 edge 생성기(generator)과 이미지 완성 네트워크(image competion network)로 구성된 two-stage adversarial 모델을 소개합니다.
edge 생성기는 이미지의 (규칙적 또는 불규칙한) 누락된 영역의 edge의 환각(hallucinates)을 만듭니다. 그리고 이미지 완성 네트워크는 환각 edge를 바탕으로 빈 부분을 채웁니다.
공개적으로 사용가능한 CelebA, Places2, ParisStreetView 데이터셋을 사용했습니다. 그리고 정량적, 질적으로 성능 평가를 했으며 기존 논문에 비해 좋은 성능을 낸다는 것을 보였습니다.
더 읽어보기
Two-stage
-
edge generation은 누락된 부분의 edge를 생성(환각)하는 데에만 초점을 맞춥니다.
-
이미지 완성 네트워크는 이런 edge를 사용하여 누락된 부분의 RGB 픽셀 강도를 추정합니다.
전통적인 image inpainting 방법은 보통 크게 2가지로 나뉩니다. 구체적인 설명은 생략합니다.
- diffusion-based
- Patch-based
이 방법은 누락된 부분에서 세부 정보를 재구성하는 작업에는 약합니다. 하지만 딥러닝을 통해 이제는 데이터 분포를 사용하여 누락 영역을 채우고, 이는 일관된 구조를 생성할 수 있습니다.
하지만 이 방법에서도 종종 아티팩트에 의해 생겨나는 흐린 부분들은 여전히 해결해야할 문제입니다. 이런 문제를 해결하기 위해서 이미지는 이미지 가장자리가 있을 때, 더 성능이 좋다는 점에서 아이디어를 착안합니다.
이미지의 edge는 접근할 수 없으니, edge 생성기를 훈련하고 이를 통해 성능을 향상시키는 것입니다. 이미지 복구보다, 이미지 edge를 채우는 것은 보다 쉬운 작업이기 때문입니다.
작곡 등의 예술에서 스케치의 중요성을 말하고 있습니다. 참고 논문 In
<line drawing, the lines not only delineate and define spaces and shapes>
Model
각각의 단계는 GAN을 사용합니다.
기존 모델과 비교
전처리 없이 시도한 결과
$\sigma$값에 따른 결과
값에 따라 이미지의 복구 정도를 설정할 수 있습니다.
Discussion and Future Work
-
텍스처가 많은 영역 또는 이미지의 큰 부분에서는 실패할 수 있습니다.
-
이미지 합성에 도움을 줍니다. 이는 후에 edit 도구로 사용할 수 있다고 생각합니다.
-
불필요한 객체 제거를 시도합니다.
더 많은 예시
결론
이번에는 논문을 세세하게 읽지는 못했습니다. (과제의 늪과 하고 있는 일이 너무 많아서) 하지만 후에 세부 내용을 채우고 싶은 논문이었습니다.
재밌는 논문은 언제나 좋네요.
Leave a Comment