La vigilancia indiscriminada con IA, en el punto de mira de la UE

El uso de técnicas de reconocimiento automático mediante inteligencia artificial (IA) y algoritmos es probablemente uno de los temas más controvertidos de esta ‘nueva normalidad’. Empresas tecnológicas, gobiernos y ciudadanos están tomando posiciones. Las primeras porque quieren seguir avanzando en este tipo de identificación como parte de su negocio, los segundos porque son conscientes de que estas técnicas necesitan una regulación, y los terceros porque sostienen que vulneran derechos fundamentales.

Ayer se filtró el borrador de una proposición que la Comisión Europea pretende aprobar la semana que viene y que establece los sistemas de inteligencia artificial que suponen un “riesgo inaceptable” para la protección de la seguridad, los derechos fundamentales y los valores de la UE.

La nueva normativa europea prohibirá, por ejemplo, el uso de la IA para realizar vigilancia indiscriminada como el seguimiento y la vigilancia de personas “en entornos digitales o físicos, así como la agregación y los análisis automatizados de datos personales de diversas fuentes”. Por otra parte, se requerirá una autorización especial para utilizar este sistema de identificación biométrica remota (reconocimiento facial) en espacios públicos. Solo permitirán aquellas actuaciones realizadas por autoridades públicas y que sirvan para garantizar la seguridad pública.

No al 'Social scoring'

Otra de las prohibiciones hace referencia al denominado social scoring, un sistema de puntuación social que identifica la credibilidad o reputación de una persona de acuerdo con su actividad online y los datos que va soltando en su quehacer digital. Los datos obtenidos por el rastreo que hacen de nuestros gustos y hábitos las distintas aplicaciones, nuestro comportamiento en redes sociales o nuestra actividad en comercios electrónicos no puede servir para juzgar si somos o no fiables.

También se consideran de alto riesgo los sistemas que aprovechan la IA para decidir si se contrata a alguien o no, si son solventes económicamente o en aquellas situaciones críticas para la vida y la salud de las personas y sus propiedades. Recientemente, Levanta la cabeza entrevistó a Gemma Galdón, experta en ética y tecnología y dirige una organización que corrige los errores algorítmicos y valora el impacto social de los proyectos con inteligencia artificial. Galdón asegura que en estos momentos un algoritmo "puede decidir si te dan un trabajo o no (...) Los algoritmos también nos afectan en temas como acceder a un beneficio público, a prestaciones por desempleo, por familia monoparental, por algún tipo de dependencia o vulnerabilidad, etc. En España, el riesgo de las mujeres maltratadas lo decide un algoritmo y, en el caso de Cataluña, la posibilidad de reincidencia de un preso. En Estados Unidos, incluso las sentencias judiciales también son decisión de un algoritmo".

Michael Veale, un reconocido experto en derechos digitales de la University College de Londres, explicó a la BBC que la Unión Europea tiene que moverse entre la defensa de una IA que ayude al bienestar de los ciudadanos y la necesidad de no quedarse atrás en la carrera por la innovación tecnológica, donde China y EE. UU. compiten a cara de perro. “La legislación va dirigida principalmente a proveedores y consultores que venden tecnología de inteligencia artificial a escuelas, hospitales, fuerzas de seguridad o empleadores”, aseguró.

Ayer mismo, James Vincent, reportero de la publicación The Verge, comentó que otro de los peligros del reconocimiento facial a través de algoritmos de inteligencia artificial tiene que ver con la predicción del género y la orientación sexual de una persona. Y pone el ejemplo de las personas trans o no binarias. Tratar de predecir el sexo o la sexualidad mediante pistas digitalizadas no es muy fiable y se puede producir discriminación “cuando los sistemas se utilizan para, por ejemplo, el control de acceso a espacios físicos o la verificación de identidad para un servicio en línea”.

¿Detectar género y orientación sexual?

La identificación de género de estos sistemas suele basarse en conceptos anticuados y poco abiertos. Tipo de peinado, maquillaje, estructura ósea, forma de la cara son algunos de los parámetros utilizados y no tienen por qué ser fiables a la hora de reconocer las nuevas identidades de género.

De hecho, Vincent recuerda que en 2017 hubo un grupo de investigadores que desarrolló un algoritmo para detectar personas homosexuales a partir de una foto. Se le llamó IA Gaydar. Los científicos de la Universidad de Stanford aseguraron que habían entrenado un sistema de reconocimiento facial que podía decir si una persona era gay solo con ver su rostro en una fotografía. En realidad, el jefe del proyecto justificó la investigación como alarma para denunciar que si no hay una regulación “pronto una IA podrá adivinar tu orientación sexual, opiniones políticas e incluso coeficiente intelectual”.

La organización Access Now y medio centenar de ONG de defensa de los derechos LGTB, han enviado una carta a la Comisión Europea pidiendo la prohibición de estas técnicas. En España, hace unos días, un grupo de 70 académicos de Filosofía, computación y Ciencias Sociales remitieron otra misiva al presidente del Gobierno, Pedro Sánchez, exigiendo una comisión independente sobre las tecnologías de reconocimiento facial y una moratoria para poder debatir los riesgos que supone “para la dignidad, la igualdad de trato y la justicia social”.

Para evitar que la IA pueda realizar una vigilancia masiva, manipular el comportamiento de las personas o tener sesgos raciales o de género, la UE quiere crear un Consejo Europeo de Inteligencia Artificial para decidir los sistemas de alto riesgo. Además, el borrador filtrado asegura que habrá multas que podrían alcanzar hasta el 4 % de los ingresos de las empresas que incumplan las leyes.