Investigadores de Nvidia e investigadores de universidades como Stanford y Berkeley, realizaron un experimento en el que mostraron episodios de Tom y Jerry a una inteligencia artificial para ver si podía crear nuevas escenas inspiradas en la serie. Utilizando descripciones detalladas, llamados “prompts”, la IA generó secuencias de hasta un minuto con acciones típicas de los personajes, como persecuciones, Tom intentando atrapar a Jerry o este último comiendo queso.
Las instrucciones incluían detalles sobre el entorno, movimientos y expresiones, lo que permitió a la IA mantener el estilo visual y la personalidad de los personajes. Por ejemplo, uno de los prompts describía una cocina ordenada, Jerry sobre una mesa con un trozo de queso, y una cámara enfocada en su expresión feliz.
Este avance muestra el potencial de la IA para crear contenido animado a partir de texto. Aunque los resultados son prometedores, los investigadores señalaron que hay aspectos por mejorar, como:
- La transición entre escenas, que a veces es abrupta.
- El movimiento de objetos, que no siempre parece natural.
- Cambios bruscos en la iluminación.
La tecnología se basa en una técnica llamada Entrenamiento en Tiempo de Prueba (TTT), que mejora la capacidad de las redes neuronales para generar contenido visual complejo.
En este caso agregar capas TTT a un Transformer preentrenado, la IA puede crear videos de un minuto a partir de guiones gráficos de texto. En un experimento, se utilizó un conjunto de datos basado en los dibujos animados de Tom y Jerry.
Comparada con otros métodos, la técnica TTT produjo resultados más coherentes, superando a alternativas en una evaluación humana por 34 puntos Elo, en una prueba con 100 videos.
El sistema de puntuación Elo es utilizado en el ajedrez para medir el nivel relativo de habilidad entre competidores, pero este contexto, se aplica para evaluar la calidad de los videos generados por inteligencia artificial.
Este es el link del capítulo creado https://x.com/karansdalal/status/1909312851795411093
Nota: Eliot Silva.
