[AI for Fun] 개발없이 빠르게 나만의 딥페이크 영상 테스트 해보기 (Thin-Plate Spline Motion Model for Im

진작부터 가지고 놀아보고 싶다는 생각은 했는데,
다른 것 때문에 바쁘고 정신없어서 느즈막히 건드려보는 딥페이크 API
 
https://arxiv.org/abs/2203.14367

Thin-Plate Spline Motion Model for Image Animation

2022년 3월 Jian Zhao, Hui Zhang를 통해 발표된 연구 내용으로,
사전 지식을 사용하지 않고 비지도학습을 통해 임의의 오브젝트에 대한 모션 조작을 수행한다. 
이 연구에서는 광학에 대한 수치화 및 추정이 핵심이다. 즉, 움직이는 형태에 따라서 빛의 변화를 추정함으로써 2D의 이미지를 3D 움직임에 자연스럽게 스며들 수 있게 한다. 
 
 
우리에겐 화성갈끄니까아아아의 주인공 일론머스크 덕에 특히나 더 크게 화제가 되었는데
아래 링크에서 코드와 데모를 체크할 수 있는데 개발을 모르더라도 데모만으로도 재밌게 장난칠 짤들을 만들 수 있다.


 

https://replicate.com/yoyo-nb/thin-plate-spline-motion-model

yoyo-nb/thin-plate-spline-motion-model – Run with an API on Replicate

 

 
움짤로 돌아다니는 GIF를 MP4로 변환해 로 테스트해봤는데 테스트해보니 컷수가 많으면 많을 수록
화질이 좋으면 좋을수록 확실히 촘촘하게 학습되어서 그냥 짧은 GIF보다는
살짝 더 움직임이 동영상스러운 릴스를 적용하는 것이 좋을 것 같다.
 
 
dataset의 경우는 총 4개 vox, taichi, ted, mgif 를 제공하는데,
샘플에서 권장하듯이 대부분 얼굴, 두상 합성은 vox를 데이터셋으로 했을 때 가장 효과적이었다.
 
 

 
움직이면서 액션하는 세로형 릴스나 숏폼에는 ted나 taichi가 적합한 것 같다.
 

 
 

---

 
 
아이유를 기준으로 합성을 시도해봤다.
API를 통해 모델을 개선해나가거나 학습방법을 보완하면 달라지겠지만
데모사이트에서만 적용한 데이터만 놓고 비교해봤을 때 아래와 같은 결과가 나온다.
 
 
dataset_name : vox
- 일명 갈끄니까아아. 가장 두드러진 효과가 나오는 고화질을 찾으려고 했는데 아이유가 웃거나 핵심이 되는 근육이
  최대한 도드라지는 사진을 썼다면 조금 더 자연스러웠을 것 같다는 생각이 든다.  
  학습데이터는 최소 입이 보이거나 살짝 벌린 이미지를 학습할때 더 자연스럽게 스며든데.효과적이다.
 

 
 
 
dataset_name : taichi
대국민 아이돌답게 온갖 학습 사진을 구할 수 있었다. 이번에는 아이유 전신사진과 giphy의 dancing짤을 합성해봤다.
ted보다 요 사진에서는 taichi가 더 잘 살렸다만 여전히 데모사이트만으로는 한계가 보인다. (삼발이 무슨일 ㅜㅜ..)
 

 

어떤 샘플을 학습하냐에 따라 천차만별이겠지만
그리고 학습시키는 이미지와 합성할 데이터는 최대한 해상도나 움직임이 유사할수록 
광학이나 포즈의 위치가 비슷할수록 유사하게 학습한다.
 
상반신 학습이나 전신 학습은 사람들은 ted를 많이 쓰는 것 같은데 나는 개인적으로 taichi가 더 자연스러웠다.
무빙에 대해서는 taichi가 비슷하고 Blurring은 ted가 잘한다는 느낌이 들었다.
어쩌면 내가 학습산출물로 기대하는게 taichi랑 더 맞을지도 모르지만
 
 
 

---

 
 
+ GIF 형태의 파일만 있는 경우, 파일을 인식하지 않기 때문에  아래 페이지에서 퀵하게 MP4로 바꿔준다.
https://convertio.co/kr/gif-mp4/

GIF MP4 변환 (온라인 무료) — Convertio

 
 
 
 
 
 
 
 
 
 

※  파트너스 활동을 통해 일정액의 수수료를 제공받을 수 있습니다.