Guías
Lip sync con IA: fotos que hablan y doblaje de vídeo
El lip sync con IA ajusta la boca al audio. Descubre sus dos usos, fotos que hablan y doblaje de vídeo, qué lo hace creíble y cómo hacerlo tú en Kubeez.
· Dex
El lip sync con IA, o sincronización de labios con inteligencia artificial, es un software que hace que la boca de una persona se mueva al ritmo de un audio. Con ese nombre se habla en realidad de dos trabajos distintos. El primero es hacer que una foto hable o cante: le das a la IA un retrato y un archivo de audio, y genera un vídeo de esa persona diciendo tus palabras. El segundo es volver a sincronizar la boca en un vídeo que ya existe, normalmente después de doblar la voz a otro idioma. En esta guía verás cómo funcionan los dos, qué hace que el resultado parezca real o falso y cómo hacer cada uno en Kubeez.
¿Qué es la sincronización de labios con IA?
Cada sonido tiene una forma de boca. La «m» y la «b» cierran los labios, la «o» los redondea, la «f» apoya los dientes de arriba en el labio de abajo. Los animadores llaman visemas a estas formas y durante décadas las dibujaron o ajustaron a mano.
Un modelo de lip sync con IA aprende esa relación a partir de muchísimos vídeos de gente hablando. Recibe un audio y una cara, predice qué forma debe tener la boca en cada fotograma y luego genera esos fotogramas para que encajen con la cara, la piel y la luz de la persona. Los buenos modelos añaden además lo que hace creíble el habla: parpadeos, pequeños movimientos de cabeza y expresiones que siguen el tono de la voz.
Los dos trabajos que la gente llama «lip sync con IA»
Antes de elegir herramienta, ten claro cuál de los dos necesitas. Parten de materiales distintos y dan resultados distintos.
| Hacer que una foto hable o cante | Resincronizar la boca en un vídeo existente | |
|---|---|---|
| Partes de | Una foto y un archivo de audio | Un vídeo de alguien hablando, más un audio nuevo |
| La IA crea | Toda la actuación: boca, cabeza, mirada, expresión | Solo la zona de la boca, el resto del metraje se queda |
| Uso típico | Avatares que hablan, presentadores, retratos que cantan, explicadores | Doblaje a otro idioma, cambiar una frase después del rodaje |
| Lo que se busca | foto que habla con IA, lip sync desde una foto | lip sync de vídeo con IA, doblaje visual |
Trabajo 1: una foto que habla
Aquí el modelo solo tiene un fotograma, así que inventa todo lo que se mueve. Los labios siguen el audio y la cara y la cabeza se mueven como las de alguien que habla. No puede aparecer nada que no esté en la foto: si el retrato es de cabeza y hombros, el vídeo se queda en cabeza y hombros.
Trabajo 2: lip sync de vídeo para doblaje
Aquí el metraje ya existe. La meta es cambiar lo mínimo: mantener a la persona, el fondo, el movimiento de cámara y la luz, y redibujar solo la boca para que coincida con el audio nuevo. Es lo que hace que un vídeo doblado parezca que el orador habla de verdad el nuevo idioma.
Cómo funciona, en pocas palabras
La mayoría de los sistemas de sincronización de labios hacen tres cosas:
- Escuchan el audio. El modelo convierte el sonido en una serie de rasgos que describen, fotograma a fotograma, qué se dice y cómo.
- Predicen la boca. Para cada fotograma, calculan la forma de la boca y el movimiento que la rodea (mandíbula, mejillas, barbilla) que encajan con esos rasgos.
- Dibujan la cara. Generan fotogramas que conservan la identidad de la persona y funden la boca nueva con la piel, los dientes y la luz.
Lo difícil es saber si quedó bien. Un artículo de investigación muy citado, A Lip Sync Expert Is All You Need for Speech to Lip Generation In The Wild (Prajwal y otros, 2020), mostró que los métodos anteriores se desincronizaban a menudo en vídeos reales de personas que no habían visto durante el entrenamiento. Su solución fue entrenar contra un «experto» en sincronización, un modelo que puntúa cuánto coinciden los labios con el audio.
Qué hace que el lip sync se vea bien o mal
El modelo importa, pero la mayoría de los malos resultados vienen de lo que le das. Cuatro factores deciden casi todo.
1. Calidad del audio
Los labios solo pueden seguir lo que el modelo oye. Una voz limpia, sin música debajo, sin eco y sin ruido de fondo da las formas de boca más claras. Las palabras murmuradas y la reverberación fuerte dan labios vagos y blandos. Si generas la voz con texto a voz, lo controlas por completo. En canciones, elige un tramo donde la voz se oiga bien.
2. Ángulo y visibilidad de la cara
Lo ideal es una cara de frente con la boca totalmente visible. Cuanto más gira la cabeza, menos boca tiene el modelo para trabajar. Una mano en la barbilla, un micrófono delante de los labios, pelo sobre la boca o gafas de sol empeoran el resultado.
3. Resolución y nitidez
La boca ocupa una parte pequeña del encuadre. Una foto o un vídeo nítido y con luz pareja le da al modelo detalle real de labios y dientes. Una fuente borrosa, oscura o muy comprimida lo obliga a adivinar, y eso se nota: dientes borrosos y bordes blandos alrededor de la boca.
4. Duración del clip
Los clips cortos salen bien con más facilidad y son más baratos de repetir. Para un guion largo, genera un párrafo o una escena cada vez. Si una toma sale mal, repites diez segundos, no tres minutos. Revisa también los límites de duración del modelo: algunos modelos de lip sync se quedan en unos 20 segundos y otros aceptan varios minutos de audio.
Cómo hacer que una foto hable con IA en Kubeez
Kubeez tiene dos modelos pensados para sincronizar una foto con tu propio audio. Los dos cobran por segundo de audio y el precio actual aparece en la tarjeta del modelo antes de generar.
| OmniHuman 2.0 | P-Video | |
|---|---|---|
| Ideal para | Presentadores, explicadores, retratos que cantan, tomas largas | Clips cortos y borradores rápidos |
| Duración del audio | De 4 segundos a 5 minutos | Hasta 20 segundos |
| Resultado | 720p, con la forma de tu foto | 720p o 1080p, con niveles de borrador más rápidos |
| Duración del vídeo | Exactamente la del audio | Exactamente la del audio |
Los pasos:
- Consigue el audio. Grábate, usa una locución que sea tuya o escribe la frase y ponle voz en diálogo y texto a voz de Kubeez. Recorta el silencio al principio y al final, porque cada segundo de audio es un segundo de vídeo que pagas.
- Elige la foto. De frente, nítida, con luz pareja, la boca visible y relajada y nada tapando la cara. La forma de la foto es la forma del vídeo, así que recórtala pensando en dónde lo vas a publicar.
- Abre el modelo en el estudio y adjunta la foto y el audio. Para cualquier cosa de más de 20 segundos, usa OmniHuman 2.0.
- Añade un prompt corto (opcional). Describe el tono, los movimientos pequeños y la cámara, por ejemplo «cálida, asiente un poco, se ríe en la última frase, plano fijo». No pegues el guion, el modelo ya lo oye.
- Genera y revisa la boca en los sonidos difíciles: «m», «b», «p» y «f». Si ahí se ve bien, normalmente el resto también.
Para un ejemplo completo con materiales reales y el vídeo terminado, lee nuestra guía paso a paso para hacer que una foto hable o cante. El artículo de lanzamiento de OmniHuman 2.0 cubre las especificaciones y cómo usarlo por API.
Cómo doblar un vídeo a otro idioma en Kubeez
El doblaje de vídeo de Kubeez traduce el habla de tu clip y le pone voz en los idiomas que elijas. Esto es lo que hace y lo que no, para que sepas qué esperar.
Lo que hace: subes un MP4, MOV o MP3 con voz, de hasta 5 minutos. Eliges uno o varios idiomas. Recibes un archivo por idioma, con la misma imagen, la misma música y los mismos efectos, y el habla sustituida por el nuevo idioma.
Lo que no hace: no redibuja la boca. La imagen es tu metraje original, así que los labios del orador siguen moviéndose para el idioma original.
Que eso importe o no depende del plano:
- Boca oculta o pequeña: locución sobre recursos, planos de producto, grabaciones de pantalla, planos generales de un escenario, personas de espaldas. Aquí el doblaje solo se ve natural, porque nadie puede leer los labios.
- Boca grande en pantalla: primeros planos de alguien hablando, entrevistas, anuncios mirando a cámara. Aquí el público nota cuando los labios no cuadran con las palabras.
Los pasos:
- Abre el doblaje de vídeo y añade un clip con voz clara. El doblaje reescribe el habla que ya existe, no añade voz a un clip mudo.
- Elige los idiomas. Cada idioma se cobra completo, por segundo de clip, así que elige solo los que necesitas. El precio aparece antes de empezar.
- Genera y compara. Reproduce las versiones dobladas una al lado de la otra o descarga cada una por separado.
Para primeros planos de alguien hablando, hay otro camino. Si lo que necesitas es un presentador hablando a cámara en varios idiomas, puedes crear cada versión como una foto que habla. Escribe o traduce el guion, ponle voz en cada idioma (grabándote tú o con diálogo y texto a voz, si la voz que eliges habla ese idioma) y pasa cada frase por OmniHuman 2.0 con el mismo retrato. Así cada versión tiene labios que encajan con su propio idioma. La contrapartida: es una actuación nueva generada a partir de una sola foto, no tu metraje original, así que el movimiento del cuerpo y el fondo del rodaje no se conservan.
Consentimiento: usar la cara o la voz de una persona real
Con el lip sync con IA es fácil poner palabras en boca de alguien, así que sé estricto con las caras y las voces que usas.
- Usa tu propia cara y tu propia voz, o las de personas que hayan aceptado, mejor por escrito, ese uso concreto: dónde se publicará y durante cuánto tiempo.
- No hagas que una persona real parezca decir algo que no dijo, ni imites a una figura pública o a alguien que no haya dado su permiso.
- Indica que el vídeo es sintético cuando el público pueda confundirlo con una grabación real.
- La ley se está poniendo al día. En Estados Unidos, la ley ELVIS de Tennessee, firmada el 21 de marzo de 2024, creó un derecho de propiedad sobre la propia voz y una responsabilidad civil por usar sin permiso la voz o la imagen de alguien (resumen de Covington). Las normas cambian según el país y la región, así que revisa las que te aplican.
Un retrato generado de una persona que no existe evita casi todos estos problemas, y por eso nuestros ejemplos usan uno.
Preguntas frecuentes
¿Cuál es el mejor lip sync con IA para una foto?
Depende de la duración. Para clips que hablan o cantan durante más de 20 segundos, OmniHuman 2.0 acepta hasta 5 minutos de audio con un solo retrato. Para clips cortos y borradores rápidos, P-Video es más rápido. En los dos casos, la foto y el audio pesan más que el modelo.
¿Puede la IA sincronizar una foto con una canción?
Sí. Usa la canción como archivo de audio y los labios la siguen igual que siguen el habla. Empieza por un tramo donde la voz se oiga clara y no quede tapada por la música.
¿Puede la IA cambiar la boca de un vídeo doblado para que coincida con el nuevo idioma?
Eso se llama doblaje visual, y las herramientas especializadas lo hacen redibujando solo la zona de la boca. El doblaje de Kubeez cambia la voz pero conserva tu imagen original, así que los labios no cambian. Para primeros planos de alguien hablando, puedes crear cada versión como una foto que habla.
¿Hay algún lip sync con IA gratis?
Kubeez necesita una cuenta. Las cuentas nuevas reciben una sola vez créditos de bienvenida y después compras créditos. No hay un plan gratuito permanente. El lip sync se cobra por segundo de audio, así que los clips cortos cuestan menos.
¿Funciona el lip sync con IA en dibujos animados o animales?
Los modelos de lip sync están hechos para caras humanas. Los retratos claros y realistas de personas dan los resultados más fiables. No cuentes con dibujos, personajes animados ni animales.
¿Es legal el lip sync con IA?
En la mayoría de lugares, hacer un vídeo con los labios sincronizados es legal. Usar la cara o la voz de alguien sin permiso puede no serlo, y algunos lugares, como Tennessee, tienen leyes que protegen la voz y la imagen de una persona. Usa caras y voces que tengas derecho a usar.
Dex escribe las guías de Kubeez y crea cada ejemplo con las mismas herramientas que usas tú.