← Volver al inicio

Síntesis de voz local para audiolibros

Texto a voz · Entrenamiento desde cero · Android

El objetivo era sustituir el lector en voz alta nativo de Android por un motor local que sonara natural al leer audiolibros.

Existen herramientas como SherpaTTS o VoxSherpa que permiten ejecutar síntesis de voz en un teléfono, pero ninguna alcanzaba el nivel de naturalidad, continuidad y expresividad buscado para una escucha prolongada. Por ello se planteó entrenar un modelo propio y poder ejecutarlo localmente, sin depender de una conexión ni de servicios externos.

Del libro al modelo

Se desarrolló desde cero toda la estructura necesaria: normalización del texto, conversión a una representación fonética de español peninsular, predicción de duración y prosodia, generación de la representación acústica y reconstrucción final de la voz mediante un vocoder.

Los modelos actuales de texto a audio contienen decenas de idiomas con distintas voces y tonalidades. Descartar todo esto del modelo para reproducir una sola voz en un único tono permite reducir su tamaño considerablemente, consiguiendo una elevada naturalidad a la vez que velocidad.

TextoNormalización de números, signos y abreviaturas.
FonemasRepresentación lingüística para español peninsular.
ProsodiaDuración, ritmo, tono y energía.
AcústicaModelo que genera la huella sonora de cada frase.
VozVocoder y exportación para la ejecución en Android.

Dataset y entrenamiento

El dataset se construyó a partir de audiolibros y sus libros de origen. El proceso separa el audio en fragmentos, recupera y normaliza el texto correspondiente, alinea ambos elementos y descarta o corrige los casos que no cumplen los criterios de calidad. Así, cada ejemplo de entrenamiento vincula una frase escrita con la forma exacta en que se pronuncia.

Durante el entrenamiento, el modelo ve miles de esas parejas texto-audio y ajusta progresivamente cómo convertir el lenguaje en una señal natural: primero aprende unidades sonoras aisladas, después palabras y ritmo, y finalmente frases largas con entonación y continuidad.

Proceso reproducible. Las muestras se generan de forma periódica durante el entrenamiento para escuchar el progreso real, no solo observar la pérdida numérica.

Progresión del entrenamiento

Las tres muestras contienen texto diferente y permiten escuchar cómo evoluciona el modelo entre etapas.

02Inicio

Primeras relaciones entre texto y audio

El resultado todavía se escucha fatal: el modelo está aprendiendo cómo se relaciona el texto con el audio y solo es capaz de reproducir fonemas sueltos. Aún no mantiene palabras ni estructura prosódica de forma estable.

Bloque 2 · muestra de 33,7 s

03Mitad

Palabras reconocibles, prosodia todavía incompleta

El modelo ya es capaz de reconocer palabras completas, pero le falta naturalidad en la entonación y capacidad de aguantar frases largas completas sin alucinar. La mejora en inteligibilidad ya es evidente, aunque el flujo de lectura aún no es convincente.

Bloque 3 · muestra de 19,1 s

05Final

Lectura continua y natural

El modelo ya es capaz de leer frases completas y con una naturalidad casi indistinguible de una lectura humana. Mantiene el ritmo, la entonación y la continuidad necesarias para escuchar texto largo de forma cómoda.

Bloque 5 · muestra de 32,2 s

Resultados

Se ha desarrollado un modelo de texto a voz desde cero capaz de reproducir una voz perfectamente natural para la lectura de audiolibros desde un teléfono móvil.

El entrenamiento se llevó a cabo en una NVIDIA 3060 con 12 GB de VRAM.