De 3D a 4D Gaussian Splatting
El punto de partida es el 3D Gaussian Splatting (3DGS), presentado en 2023 en SIGGRAPH por un equipo de Inria y el Instituto Max Planck de Informática. Representa una escena estática como una nube de gaussianas 3D: cada una tiene posición, forma (escala y rotación), opacidad y un color que cambia según el ángulo desde el que se mira.
Esas gaussianas se ajustan a partir de fotografías tomadas desde muchos puntos de vista y se dibujan directamente en pantalla, sin mallas de polígonos. Por eso el resultado es fotorrealista y se puede explorar en tiempo real.
El 4DGS añade el tiempo. Desde finales de 2023 han aparecido varias formulaciones: unas deforman un conjunto de gaussianas a lo largo de la toma y otras usan gaussianas con una dimensión temporal. En todos los casos se obtiene una escena dinámica que se reproduce como un vídeo en el que el espectador elige el punto de vista.
Qué es el Gaussian SplattingCómo se captura una escena 4D
Una escena en movimiento no se puede fotografiar desplazando una cámara alrededor, porque el sujeto cambia en cada instante. Hace falta un rig con muchas cámaras sincronizadas que graben a la vez desde todos los ángulos.
En el estudio de Dymensium en Valencia usamos un rig de 120 cámaras sincronizadas. Después, las tomas se procesan para reconstruir cada instante y generar la escena 4DGS.
Cómo se reproduce
Una escena 4DGS se dibuja en tiempo real en la tarjeta gráfica. Hoy se puede ver en el navegador con visores WebGL o WebGPU, en motores como Unreal Engine o Unity mediante plugins, y en gafas de realidad virtual y dispositivos de realidad aumentada.
El tamaño de los datos es el reto principal. Una escena dinámica ocupa mucho más que un modelo estático, así que cada destino necesita su propia compresión y optimización.
4DGS frente a otras técnicas
Estas son las diferencias con las técnicas que más se le parecen:
- Vídeo volumétrico con mallas
- Convierte cada fotograma en una malla de polígonos con textura. Se integra con facilidad en flujos 3D clásicos, pero simplifica el pelo, los tejidos y las transparencias.
- Fotogrametría
- Reconstruye geometría con textura a partir de fotos de un sujeto quieto. Sirve para medir o imprimir en 3D, pero no captura movimiento y le cuestan los reflejos y las partes finas.
- NeRF
- Representa la escena con una red neuronal. Consigue mucha calidad, pero renderizar es lento; el Gaussian Splatting logra una calidad comparable en tiempo real.
- Vídeo 360
- Graba desde un único punto: el espectador puede mirar alrededor, pero no moverse. En 4DGS sí puede cambiar de posición y rodear a la persona.
Para qué se usa
Cine y VFX, producción virtual, videojuegos, publicidad y moda, deporte, educación y artes escénicas. En todos los casos, el valor está en poder mostrar a personas reales en movimiento con libertad de cámara, sin animarlas a mano.
Ventajas y limitaciones
Ventajas
- Aspecto fotorrealista, también en el pelo, los tejidos y los bordes suaves.
- Libertad de cámara: la escena se ve desde cualquier ángulo.
- Reproducción en tiempo real en web, realidad virtual y aumentada, y motores 3D.
Limitaciones
- La iluminación queda grabada con la escena, así que hay que planificarla según dónde se vaya a integrar.
- Los archivos son pesados y necesitan optimización para cada plataforma.
- Es una técnica reciente: los formatos y las herramientas siguen evolucionando.
Referencias
- 3D Gaussian Splatting for Real-Time Radiance Field Rendering
Kerbl, Kopanas, Leimkühler, Drettakis. ACM Transactions on Graphics 42(4), SIGGRAPH 2023.
- 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering
Wu et al. CVPR 2024.
- Real-time Photorealistic Dynamic Scene Representation and Rendering with 4D Gaussian Splatting
Yang et al. ICLR 2024.