Tripo AI와 Stability AI가 새로운 3D 모델을 출시했습니다.

이미지 한 장으로 상당히 준수한 퀄리티를 보여주는데요, 해당 벤치마크에서 1위를 달성함과 동시에 추론속도도 매우 빠르다고 주장하고 있습니다.

기존 모델들이 3D 생성으로 잘 알려진 Gaussian Splatting, NeRF등의 모델을 활용한 것에 비해, Diffusion의 방식으로 Transformer아키텍쳐를 차용하였습니다. 그 결과 성능도 좋으면서 빠른 추론 속도를 얻을 수 있었다고 합니다.

다만 해당 벤치마크 및 데이터셋 자체가 몇 가지 제약 사항이 있어 아직은 실무적으로 활용하긴 어려운 상황입니다.

• Objaverse, GSO, OmniObject3D 같은 데이터셋을 활용하였으나 이들은 실제 환경의 3D 데이터보다는 게임 자산, 가구, 물건 등에 맞춰진 데이터셋

• 이로 인해 실제 환경의 이미지를 입력하였을 때, 제대로 생성되지 않는 모습을 보임

이를 확인해보기 위해서 실험을 진행해봤습니다.

입력 이미지

출력 3D 모델

도자기 로 만든 느낌이네요 ㅎㅎ