Por Enrique Pons Franco
Durante la semana, Marcelo Ebrard, uno de los precandidatos más visibles a la presidencia de la República, presentó la idea de implementar modelos de inteligencia artificial (IA) como una nueva estrategia para retomar la seguridad pública en México. La denominó “Plan Ángel”. Dentro de lo que más llamó mi atención fueron dos de los ejes en los que se basa: el reconocimiento facial y el reconocimiento morfológico de las personas. Dicho de otra forma, la IA podría monitorear nuestros rostros en tiempo real y, además, tomar decisiones predictivas sobre el potencial delictivo de una persona tomando como parámetro características como altura, peso, sexo, comportamiento, o raza, por ejemplo. Algo que suena más a la escuela criminalista del siglo XIX encabezada por Cesare Lombroso (googléalo y te vas a sorprender), que a una idea del siglo XXI. De eso quiero hablarte hoy.
Como te he venido contando en las últimas semanas, una vez considerado como un mundo de ciencia ficción y visión futurista, la IA ahora está entrelazada con nuestra vida diaria en formas que apenas estamos comenzando a comprender y pienso, que el “Plan Ángel”, de la forma en que se presentó, deja más dudas, que certezas, sobre todo, en un campo tan delicado como lo es de la seguridad pública y los derechos humanos.
Entérate: La inteligencia artificial y la privacidad de tus datos: un nuevo desafío legal
Desde el punto de vista de la innovación, es claro que las entidades públicas de todo el mundo están implementando cada vez más la IA y los sistemas de toma de decisiones algorítmicas para proporcionar servicios públicos o para utilizar sus poderes de aplicación de la ley. La razón para que el sector público emplee estos sistemas es similar a la del sector privado: aumentar la eficiencia y la velocidad de las transacciones y reducir los costos. Sin embargo, las entidades públicas están establecidas principalmente para satisfacer las necesidades de los miembros de la sociedad y proteger la seguridad, los derechos fundamentales y el bienestar de aquellos a quienes sirven.
Actualmente, los sistemas de IA se implementan en el sector público en varios niveles administrativos sin una diligencia debida sólida, monitoreo o transparencia. Esto resulta en un creciente enredo entre los proveedores privados y los actores públicos, y un desdibujamiento de las líneas de responsabilidad y rendición de cuentas.
Sin embargo, con las carencias legislativas que existen en México, antes de pensar en el qué, hay que pensar en el cómo, y esto lleva en primer lugar a la necesidad urgente de directrices de adquisición específicas para la IA para proteger los derechos fundamentales y el debido proceso. Estas directrices son necesarias debido a las nuevas complejidades y riesgos introducidos por los sistemas de IA, y las capacidades institucionales que impactan el proceso de toma de decisiones.
Por ejemplo, en una idea tan reciente como utilizar la IA en México como instrumento para combatir la delincuencia, identifico al menos tres capas de desafíos en términos de responsabilidad: 1) diferentes niveles administrativos, es decir, federación, estados y municipios; 2) múltiples actores involucrados en el diseño, desarrollo y uso de sistemas de IA; y 3) la naturaleza cada vez más compleja y opaca de los sistemas de IA y de Big Data.
Te puede interesar: La inteligencia artificial en las campañas electorales: ¿revolución, innovación o amenaza?
Estos desafíos con toda seguridad harán que sea difícil identificar quién es responsable cuando algo salgo mal con un sistema de IA. Además, la complejidad de los sistemas de IA puede hacer que incluso los actores públicos que los implementan no entiendan completamente cómo funcionan.
También, en un sistema de IA utilizado para labores de seguridad se pueden magnificar o profundizar las inequidades y sesgos existentes en la sociedad. Esto puede suceder de varias maneras:
- Codificación de valores: Los sistemas de IA reflejan los valores de las personas que los crean. Si estos valores no consideran una diversidad de perspectivas y experiencias, pueden privilegiar los valores de un grupo sobre los de otros. Dicho de otra manera, puede identificar a un presunto delincuente solamente porque “tiene cara de qué va a robar”;
- Datos: Los datos que se utilizan para entrenar los modelos de IA son recopilados por humanos y reflejan las inequidades históricas y estructurales de la sociedad;
- Modelos algorítmicos: Los modelos de IA trabajan con definiciones y funciones matemáticas, y optimizan las funciones dadas. Sin embargo, las definiciones de equidad algorítmica pueden variar y a veces no se pueden lograr simultáneamente; y
- Capacidad de interrogación: Las entidades públicas deben tener la capacidad de interrogar un sistema de IA y entender las consecuencias de su implementación. Sin embargo, la capacidad de los equipos de adquisición pública para entender el funcionamiento preciso de los sistemas algorítmicos está limitada por asimetrías de información, sesgos humanos y complejidades multicapa.
Por otra parte, los sistemas de IA en este campo pueden tener un impacto en el debido proceso y en los derechos de las personas, como el derecho a la privacidad, la libertad de expresión o de asociación. Por ejemplo, un sistema de IA puede ser utilizado para hacer determinaciones o recomendaciones que afecten la vida y la libertad de las personas, su acceso a oportunidades y beneficios.
Lee también: Desenmascarando la corrupción: el potencial revolucionario de la inteligencia artificial
En tales situaciones, es necesario un proceso más robusto para determinar si un sistema es la solución necesaria, si tiene impacto en los derechos humanos y el debido proceso, y quién toma esas decisiones. Por otra parte, la vigilancia predictiva en la que se basa el reconocimiento morfológico del “Plan Ángel”, es un sistema que depende del perfil de riesgo individual o de ubicación y combina múltiples fuentes de datos para hacer predicciones sobre quién podría cometer un delito. Este enfoque no solo es una afrenta a la presunción de inocencia y al debido proceso, sino que también carece de validez científica.
En otro sentido, el uso de sistemas de IA en la seguridad pública puede tener un impacto irreversible en los miembros de la sociedad, ya sea física, emocional, mental o financieramente, sea por intención o debido a consecuencias no intencionadas, los sistemas de IA pueden terminar discriminando a las personas que comparten características similares. Como lo he señalado, el empleo de la IA en el sector público es un tema complejo y en constante evolución. Algunos de los riesgos potenciales incluyen:
- Sesgo y discriminación: Los algoritmos de IA se entrenan con datos del mundo real, que a menudo reflejan sesgos humanos. Esto puede llevar a la discriminación en la aplicación de la ley, como el perfil racial;
- Privacidad y vigilancia: La IA puede ser utilizada para la vigilancia masiva, lo que plantea serias preocupaciones sobre la privacidad. Por ejemplo, el reconocimiento facial es una tecnología que ha sido criticada por su potencial para violar la privacidad de las personas;
- Errores y falsos positivos: Los sistemas de IA no son perfectos y pueden cometer errores. En el contexto de la seguridad pública, un falso positivo (por ejemplo, identificar incorrectamente a una persona como sospechosa) puede tener graves consecuencias;
- Transparencia y rendición de cuentas: Muchos algoritmos de IA son “cajas negras” que producen decisiones sin explicar cómo llegaron a ellas. Esto puede dificultar la rendición de cuentas y la impugnación de decisiones injustas; y
- Dependencia de la tecnología: La sobre dependencia de la IA puede llevar a la deshumanización de la seguridad pública y a la pérdida de habilidades humanas vitales.
En conclusión, la AI está transformando las políticas públicas de una forma sin precedentes. Abordar estos desafíos y riesgos requiere un diálogo abierto y honesto entre los candidatos, los partidos políticos, los reguladores y la sociedad en general sobre cómo se debe y no se debe usar la IA. Esto incluye la creación de un marco legal que promueva la transparencia, la explicabilidad, la protección de datos, la equidad y la responsabilidad cuando se utiliza la IA.
Te recomendamos: ¿Estás preparado?: la nueva Ley de Inteligencia Artificial que cambiará el juego
También es importante recordar que la IA es solo una herramienta. Por sí solo, no puede resolver los problemas asociados con la seguridad, ni puede garantizar la protección de los derechos humanos. Esto requiere un compromiso continuo con los valores democráticos, la educación y la participación cívica. Después de todo, la IA solo es útil si continuamos usándola con responsabilidad.
Espero que te sea útil esta información y nos leamos la próxima semana. Recuerda obtener siempre la información y el asesoramiento legal adecuados antes de tomar cualquier decisión importante. Mientras tanto, sígueme en Twitter como @enrique_pons.
