El algoritmo que dejó a millones de personas en la India sin alimento
Poniendo sobre la palestra los errores de juicio que pueden cometer los algoritmos automatizados, un sistema basado en inteligencia artificial (IA) del estado de Telangana en la India está siendo analizado por denegar erróneamente subsidios alimentarios a millones de ciudadanos que sí calificaban para ellos, dejándolos en una situación desesperada.
El sistema, conocido como Samagra Vedika, se implantó en 2016 para agilizar los programas de asistencia social, pero desde entonces ha estado causando un sufrimiento generalizado debido a exclusiones erróneas.
Uno de los casos más icónicos, rescatados por Al Jazeera, es el de Bismillah Bee, una viuda de 67 años de Hyderabad, quien se vio envuelta en una pesadilla burocrática cuando el algoritmo etiquetó a su difunto marido como propietario de un automóvil, lo que provocó la cancelación de su tarjeta de seguridad alimentaria.
A pesar de figurar como “por debajo del umbral de pobreza” en los registros del censo, Bee tuvo que luchar hasta llegar al Tribunal Supremo para demostrar su derecho a recibir alimentos subvencionados, una batalla que pone de manifiesto la autoridad sin control del algoritmo.
El objetivo del algoritmo era combatir las solicitudes fraudulentas
El objetivo del algoritmo era combatir las solicitudes fraudulentas y garantizar la transparencia en la distribución de la asistencia social. Sin embargo, entre 2014 y 2019, se cancelaron más de 1,86 millones de tarjetas de seguridad alimentaria existentes y se rechazaron 142.086 nuevas solicitudes sin previo aviso.
Las investigaciones revelan ahora que una parte significativa de estas exclusiones fue errónea, alimentada por datos defectuosos y decisiones algorítmicas equivocadas.
Aunque el Gobierno afirma que el sistema previene la corrupción y ahorra recursos, la falta de transparencia -ya que el código fuente no se ha hecho público- plantea cuestionamientos sobre la exactitud e imparcialidad de sus decisiones. La preocupación por el posible uso indebido del algoritmo en la vigilancia masiva y su impacto en la privacidad de los ciudadanos agravan aún más el problema.
Las repercusiones de estos “falsos positivos”
Las repercusiones de estos “falsos positivos”, en los que solicitudes legítimas se tachan erróneamente de fraudulentas, son significativas, ya que niegan a las familias que cumplen los requisitos las prestaciones que les corresponden. A pesar de que el Tribunal Supremo ordenó una nueva verificación de las tarjetas alimentarias eliminadas, el margen de error sigue siendo alto: al menos el 7,5% de las tarjetas reevaluadas han sido rechazadas erróneamente.
Todo esto, en un contexto en que la India debe operar uno de los mayores programas de seguridad alimentaria del mundo, que cubre a dos tercios de sus 1.400 millones de habitantes.
