La investigadora de inteligencia artificial (IA) Sandra Wachter dice que si bien la investigación de la Cámara de los Lores sobre la tecnología policial «fue un gran paso en la dirección correcta», logró resaltar las mayores preocupaciones sobre la IA policial y los algoritmos, el conflicto de intereses entre las agencias de justicia penal. y sus proveedores aún podrían contener cambios significativos.
Wachter, invitado como testigo experto del estudio, es profesor asociado e investigador sénior en el Instituto de Internet de Oxford y se especializa en la ley y la ética de la IA.
En declaraciones a Computer Weekly, Wachter dijo que espera que al menos algunas de las recomendaciones se incluyan en la legislación, pero le preocupa el impacto de la hostilidad de los proveedores de IA hacia la transparencia y la apertura.
«Estoy preocupada principalmente desde la perspectiva de la propiedad intelectual y el secreto comercial», dijo. «Hay una falta de voluntad o renuencia en el sector privado a ser completamente abierto sobre lo que realmente está sucediendo por una variedad de razones, y creo que esto podría ser una barrera para implementar las recomendaciones de la investigación».
Después de una investigación de 10 meses sobre el uso de tecnología algorítmica avanzada por parte de la policía del Reino Unido, incluido el reconocimiento facial y varias herramientas de «predicción» de delitos, el Comité de Justicia y Asuntos Internos de los Lores (HAJC) descubrió que había «mucho entusiasmo» sobre el uso de los sistemas de IA por parte de los ejecutivos, pero «no encontramos un compromiso correspondiente para una evaluación exhaustiva de su eficacia».
El HAJC también encontró una serie de «prácticas de venta sospechosas» que se derivan de un conflicto de intereses entre las fuerzas policiales, que están obligadas bajo el Deber de Igualdad del Sector Público (PSED) a investigar cómo sus políticas y prácticas pueden ser discriminatorias, y los proveedores del sector privado. son.
Para abordar los problemas relacionados con la adquisición de proveedores privados, el HAJC recomendó brindar apoyo adicional a los compradores policiales para que se conviertan en «clientes competentes» de nuevas tecnologías y establecer un organismo nacional para certificar nuevas tecnologías.
“La certificación previa a la implementación podría en sí misma convencerlos de la calidad de los productos que obtienen. También se necesitan políticas de adquisición mejoradas”, dijo el comité, y agregó que los comités de ética locales y regionales también deben establecerse por ley para examinar si el uso propuesto y real de una tecnología en particular es “legítimo, necesario y proporcionado”.
También señaló que, si bien actualmente «no hay obligaciones sistémicas» para que las agencias encargadas de hacer cumplir la ley divulguen información sobre su uso de tecnología avanzada, se debe establecer una «obligación de divulgación pública» junto con un registro público de algoritmos policiales para que los reguladores y los el público en general puede comprender con precisión cómo se utilizan las nuevas herramientas.
Promover la apertura y la transparencia significativa
Wachter, quien le dijo al HAJC en octubre de 2021 que las fuerzas del orden público del Reino Unido que adquieren tecnologías de inteligencia artificial deberían usar su poder adquisitivo para exigir acceso a los sistemas de los proveedores para probar y demostrar sus afirmaciones de precisión y sesgo, señaló que la falta de visibilidad de los proveedores en sus sistemas es es muy poco probable que sea un ‘problema técnico que no podemos explicar’, sino más bien un caso de ‘no queremos decírtelo’.
En agosto de 2020, el uso de la tecnología de reconocimiento facial en vivo por parte de la Policía de Gales del Sur (SWP) fue declarado ilegal por el Tribunal de Apelación, en parte porque la fuerza no cumplió con su PSED.
El fallo encontró que el fabricante en este caso, la empresa japonesa de biometría NEC, no había compartido los detalles de su sistema con SWP, lo que significa que la fuerza no podía apreciar completamente la tecnología y sus implicaciones.
«Por razones de secreto comercial, el fabricante no está dispuesto a revelar los detalles con el fin de examinarlos», dice el veredicto. «Esto puede ser comprensible, pero en nuestra opinión no permite que una autoridad cumpla con su propio deber indelegable».
Cuando se le preguntó sobre el ejemplo de SWP, Wachter dijo que cree que hay un término medio. «Por lo general, cuando la gente habla de transparencia, habla como uno o cero, así que o todo es transparente o nada es transparente», dijo. «Creo que está un poco equivocado: no todos deben saberlo todo, pero las personas adecuadas deben saber lo suficiente».
Wachter dijo que parte del problema es que los usuarios de la policía aceptan los argumentos de los proveedores privados de que ciertos aspectos de la tecnología simplemente no se pueden divulgar ni discutir.
Para evitar esto, dijo que se trata de generar confianza y confiabilidad, y estuvo de acuerdo con HAJC en la necesidad de un sistema de certificación de terceros, muy similar a un MoT para vehículos, donde expertos calificados y confiables analizan la tecnología para obtener su aprobación. exactamente cómo funciona y asegurarse de que no cause ningún daño.
Con respecto a cuánta información debe incluirse en los registros públicos propuestos de algoritmos policiales, Wachter dijo que si bien siempre debe haber información abierta sobre qué tecnología usa la policía, sugirió ir más allá y que las empresas hagan que publiquen los resultados de sus pruebas para La tecnología.
“El público en general tiene derecho a saber en qué se gasta el dinero de los contribuyentes”, dijo. «Y si es para disuadir a la gente, para enviarla a la cárcel, para monitorearla, entonces tengo derecho a saber que esta tecnología está funcionando según lo previsto».
El propio trabajo académico revisado por pares de Wachter gira en torno a cómo se pueden probar los sistemas de inteligencia artificial para detectar sesgos, imparcialidad y cumplimiento de los estándares de la ley de igualdad tanto en el Reino Unido como en la Unión Europea (UE).
El método desarrollado por Wachter y sus colegas, llamado «explicaciones contrafactuales», muestra por qué y cómo se tomó una decisión (por ejemplo, por qué una persona tuvo que ir a prisión) y qué tendría que ser diferente para producir un resultado diferente puede ser útil. base para decisiones desafiantes. Todo esto sucede sin violar los derechos de propiedad intelectual de las empresas.
«Si ejecuta esta prueba, estamos diciendo que debe publicar los resultados para mostrarle al mundo exterior que su algoritmo está cumpliendo», dijo, y agregó que los proveedores siempre deben cumplir. “Si tu sistema es racista y no lo sabes, no importa, seguirás siendo responsable. Entonces, la estructura de incentivos es que debe probar, probar, probar, porque no puede decirle a un regulador después: «Oh, no sabía lo que estaba pasando». Si todavía tiene que hacerlo, también podría hacerlo. publicitarlo».
Posible resistencia del gobierno al cambio
Aunque el gobierno aún tiene que responder formalmente a los hallazgos de la investigación, y tiene hasta el 30 de mayo de 2022 para hacerlo, el secretario de policía, Kit Malthouse, sugirió previamente al HAJC que el uso policial de las nuevas tecnologías debe probarse en los tribunales y no definir nuevas leyes. dijo que podría «ahogar la innovación».
Esto es consistente con afirmaciones anteriores del gobierno sobre la tecnología policial. Por ejemplo, en respuesta a un informe del Comité de Ciencia y Tecnología de julio de 2019 que pedía una moratoria en el uso policial de la tecnología de reconocimiento facial en vivo hasta que se estableciera un marco legal adecuado, el gobierno en marzo de 2021, después de un retraso de dos años, pidió que «ya existe un marco legal integral para la gestión de la biometría, incluido el reconocimiento facial».
Pero Wachter dice que si bien el enfoque propuesto por Malthouse podría ser aceptable en ciertas circunstancias limitadas, como «cuando no estamos seguros de si realmente podría ocurrir un daño y cuándo», en el caso de herramientas como el reconocimiento facial y el análisis policial «predictivo», el daño ya está bien documentado.
«Sabemos que los datos son problemáticos», dijo. “Sabemos que los sistemas son problemáticos. Nadie puede realmente fingir que no hay problema”.
Wachter agregó que la gran mayoría de las personas en el Reino Unido simplemente no tienen los recursos para desafiar a la policía en los tribunales por el uso de la tecnología. «Decir, ‘Bueno, tratemos de ver quién viene y se queja’, eso no es lo que debe hacer un legislador», dijo. «Debes proteger a todos porque la libertad de todos está en juego».
Respondiendo al argumento de que las leyes “ahogan la innovación”, Wachter dijo: “Es un argumento tan aburrido: la mayoría de las veces, cuando la gente dice innovación, quiere decir ganancias. No confundamos estas dos cosas.
“Independientemente de las leyes, puedo investigar y desarrollar lo que quiera. La retención es si algo se pone en práctica o no y luego hablamos de ganancias. Creo que eso es lo que la gente quiere decir mucho».
Agregó: “La buena ley está diseñada para guiar la innovación ética y responsable y busca desalentar la innovación dañina. No estoy seguro de si quiero hacer negocios con aquellos que no quieren seguir la ética y estas reglas, especialmente en el ámbito de la justicia penal».
Aunque el HAJC, de acuerdo con varios expertos de la investigación, concluyó que los responsables de implementar la tecnología policial esencialmente se están «poniendo al día» sin considerar adecuadamente la efectividad y el impacto de los sistemas, existe una clara obligación de adquirir más tecnología para Malthouse Police. y la Revisión Estratégica de la Policía publicada en marzo de 2022.
En cuanto a por qué la policía del Reino Unido está tan comprometida con la adopción de nueva tecnología, a pesar de su efectividad a menudo cuestionable, Wachter dijo: «Creo que están muy motivados por la idea de la austeridad y por tratar de reducir costos». El sector público siempre, pero en este momento, ha estado bajo enormes presiones de costos y las nuevas tecnologías se ven como un medio para lograrlo”.
