Apple представила новую модель с открытым кодом SHARP, которая по одной двумерной фотографии создаёт фотореалистичные трёхмерные сцены менее чем за секунду. Код и веса модели опубликованы на GitHub.

Ключевые моменты

  • использование технологии 3D Gaussian Splatting для быстрой реконструкции 3D-сцен
  • улучшение на 25–34% по метрике LPIPS и на 21–43% по DISTS по сравнению с передовыми методами
  • очень высокая скорость: рендеринг сцен более 100 кадров в секунду
  • высокая точность восстановления близких ракурсов, но модель не может создавать части сцены, не видимые на исходном изображении

Применение

  • дополненная (AR) и виртуальная (VR) реальность
  • гарнитуры и пространственные вычисления (Spatial Computing)