Consultar a un asistente de inteligencia artificial resulta más costoso para quienes no utilizan el inglés, según un estudio. Si dos personas realizan la misma pregunta, una en inglés y otra en un idioma con poca representación digital, el resultado puede ser similar, pero la segunda pagará más por ello.
Esta conclusión proviene de una investigación de la Coalición por la Equidad Lingüística en la Investigación de IA (Coalition for Language Equity in AI Research), publicada el mes pasado. Los investigadores denominaron a este fenómeno un “impuesto del tokenizador” oculto.
Los modelos de IA no interpretan palabras directamente. Primero, una herramienta llamada “tokenizador” divide textos, imágenes o audios en pequeñas unidades, los “tokens”, que son procesados por el modelo. Cada consulta y respuesta consume estas “fichas”, y el costo se calcula según la cantidad utilizada.
El estudio revela que los idiomas no necesitan la misma cantidad de tokens para expresar el mismo mensaje. Incluso entre los 20 idiomas más usados en internet, los más caros requirieron entre 1,5 y 5 veces más tokens que los más económicos. Al analizar 200 idiomas, la diferencia de costo llegó a multiplicarse por 17 en algunos modelos.
El informe advierte que una empresa emergente en Bengaluru (India) podría enfrentar un recargo por cada interacción, mientras que su competidora en Austin (Estados Unidos) no. Además, más tokens implican mayor demora y menos capacidad de procesamiento. Estas desventajas afectan especialmente a regiones con limitaciones de cómputo y conectividad, restringiendo su participación en la economía de la IA.
Los idiomas distintos del inglés dejan menos espacio para documentos o historial de conversación. También exigen más trabajo para generar la respuesta.
Así lo explicó Pratyush Choudhury, cofundador de Activate AI, el primer fondo de capital de riesgo de India dedicado exclusivamente a la inteligencia artificial. Se refiere a la “ventana de contexto”, el volumen de texto que un modelo puede manejar simultáneamente. Choudhury ejemplifica esto con un tutor: recordar errores y explicaciones previas mejora la enseñanza. Si el historial llena esta ventana más rápido en ciertos idiomas, la calidad del servicio se ve afectada.
Esto significa que el problema no es solo pagar más, sino también obtener una herramienta que “olvida” más rápido, responde con mayor lentitud y es menos eficiente para quienes no usan un idioma dominante.
El estudio también encontró que la escritura influye significativamente. El asturiano, a pesar de tener pocos hablantes y escasos datos en Common Crawl (un archivo público de páginas web usado para entrenar modelos), se beneficia de su alfabeto latino y su relación con lenguas como el italiano. Por el contrario, idiomas escritos en alfabetos poco representados para el tokenizador, como el birmano, tibetano, tifinagh, jemer, lao y ol chiki, mostraron una desventaja sistemática en casi todos los modelos analizados.
Dheemanth Reddy, director ejecutivo de Maya Research, una firma que desarrolla IA conversacional pensada para hablar y responder como un hablante nativo, señaló.
