중국의 ByteDance에서는 지속적으로 배우의 연기를 대체할 수 있는 인공지능 기술에 관심을 많이 가져왔습니다.

최근 Runway의 Actone이 많은 관심을 받고 있는 가운데, ByteDance에서는 새로운 인공지능 모델 X-Portrait를 공개했습니다.

새로운 Expression encoder를 제시하고 대규모의 데이터셋으로 이를 학습하였다고 하는데요, 이를 통해 입을 삐죽이는 모습, 혀를 내미는 모습, 볼을 부풀리거나 눈쌀을 찌푸리는 등 다양한 표현이 가능해졌다고 합니다. 또한 기존의 모델들이 입력받은 동적인 표정 연기에 비해 정적인 변화만을 보여 아쉬움이 많았었는데, 이 부분을 많이 극복했다고 하네요!

아직 연구 논문이 공개되거나, 데모를 직접 해 볼 수는 없어서 기대감만 키우고 있는데요, 어서 가능한 서비스가 출시 되었으면 좋겠네요!

아래 영상은 아마 소리가 잘못 들어간듯 하네요 표정 연기가 인상적이어서 가져왔습니다.

Reference:

https://byteaigc.github.io/X-Portrait2/
https://byteaigc.github.io/x-portrait/
https://runwayml.com/research/introducing-act-one