이것을 만든 분은 분명 ‘혼모노’다.
LR의 두 번째는 Anime GAN에 관한 논문입니다.
논문 제목은 Towards the Automatic Anime Characters Creation with Generative Adversarial Networks 입니다. 2018년 8월에 업로드된 paper입니다.
이 분들은 정말 혼모노 인 것이 Introduction의 첫 문장입니다.
저는 오타쿠를 인정하고 존중합니다. 오해의 소지가 없기를 바랍니다. 저는 원덕입니다.
논문은 다음 링크를 통해서 확인할 수 있습니다.
I. 초록으로 먼저 읽기
GAN(Generative Adversarial Network)가 발표된 이후, 얼굴 이미지의 자동 생성은 연구가 활발한 분야입니다.
기존에 GAN을 이용하여 애니메이션 캐릭터 얼굴을 형성하는 시도는 많았으나 대부분 성과가 없었습니다.
애니메이션 얼굴 영상 데이터셋에 특화된 GAN 모델을 훈련하여 안정적인 성과를 냈습니다.
그리고 사전 준비된 모델을 온라인에 만들어 대중이 쉽게 모델에 접근할 수 있도록 합니다.
II. 부가 설명
개요
이 논문에서는 총 3가지의 성과를 이야기하고 있습니다.
- Clean dataset from Getchu
- Suitable GAN model based on DRAGAN
- tag가 없는 이미지로 GAN 훈련을 하는 접근법
Getchu는 일본 게임 캐릭터 물품 관련 웹페이지입니다.
이 중 첫번째를 통해 우리는 다음과 같은 점을 다시 한 번 확인할 수 있습니다.
Trash in, Trash out : 안좋은 데이터는 안좋은 결과를 만듭니다. 여기서는 좋은 데이터 수집이 얼마나 중요한지를 알 수 있습니다.
2번 3번도 대단한 결과라고 생각합니다. 특정한 도메인에 맞는 GAN을 설계하는 하나의 케이스라고 생각합니다. 여기서 얻은 직관으로 후에 다른 도메인에서도 여러 GAN을 설계할 수 있지 않을까요?
데이터 수집
데이터셋에 대한 수집이 인상적입니다. 물품 판매 사이트에서 다양한 테마의 일러스트레이터를 수집했고, 퀄리티가 어느정도 정렬되는 경향성이 있어 이를 활용했다고 합니다.
그리고 얼굴 이미지는 lbpcascade animeface를 통해 추출하는데, 여기서는 bounding box 즉 경계가 너무 작으면 얼굴 전체 데이터를 가져오기 힘드므로 크기를 1.5배로 키웠다고 합니다.
그렇게 42000개의 데이터를 수집하고, 수동으로 체크해서 4%의 원하지 않는 데이터를 제거했습니다.
또한 모델에 사용되는 데이터의 경우에는 깔끔하고 화질의 차이가 보이는 2005년을 기준으로 나누었다.
범주 메타 데이터 및 시각화
CNN 기반 도구인 Illustration2Vec 를 사용하여 속성을 선택합니다. (ex. smilem, weapon)
그렇게 34개의 범주로 나누고 시작합니다. 그리고 이 도구를 통해 특성을 추출하고, 이제 이미지 데이터는 4096차원의 특성으로 생각할 수 있습니다. 이를 t-SNE를 이용하여 2D에 투영합니다.
비슷한 이미지간의 그룹화를 잘 이루는 것을 볼 수 있습니다. (사실 전 다 거기서 거기라고 생각합니다.)
모델
모델은 다음과 같습니다.
웹사이트
역시 사람들에게 알리는 데 가장 좋은 방법은 GUI를 만들어서 사용할 수 있게 하는 것입니다.
III. 결론
레이블의 분포, 해상도 향상 등의 이슈가 남아있습니다. 이는 후에 창작하는 분들에게 도움이 되지 않을까 생각이 듭니다.
그 외 신기한 이미지
Leave a Comment