서울대학교 한보형 교수님 연구실에서 무한 비디오 생성이 가능한 프레임워크 FIFO-Diffusion을 공개했습니다!

FIFO-Diffusion은 학습이 필요없는 추론 단계에 적용하여 활용할 수 있는 방법론으로, 기존의 학습된 비디오 생성모델에 활용 가능합니다.

FIFO(First in First out)이라는 이름처럼, 해당 방법론은 기존의 방법처럼 모든 프레임을 한 번에 생성하는 것이 아닌,
프레임을 만들어나가는 과정에서 생성해낸 프레임은 출력하고, 새로운 프레임을 생성 시작하여 순차적으로 프레임을 생성하게 됩니다!

Video-crafter, open-sora와 같은 공개 비디오 생성모델에 적용한 결과물을 확인할 수 있습니다.

프레임을 길게 뽑기 위해 모델 사이즈를 키우기 보다는, 크기를 유지하면서 생성이 가능해서 장기적으로 효율성 개선에 많은 도움이 될것으로 전망됩니다.

국내 연구진들의 선전이 이어지길 바랍니다.

p.s. 해당 연구는 세계 최고 수준의 학회지 NeurIPS 2024에 게제 확정되었습니다!