El lado oscuro del Big Data
No todo lo que brilla es oro en esto del Big Data
Hoy nos encontramos en la era de los datos y algoritmos, y en muchas áreas los procesos de toma decisión han pasado desde lógicas manuales a métodos automáticos, todo esto basado en datos y su procesamiento, esto es, decisiones que ya no son tomadas por personas sino por modelos matemáticos, a los cuales les asignamos altos niveles de justicia y pocos sesgos.
Hace ya unos años, que venimos escuchando los atributos del uso de datos en las políticas públicas, afirmación que comparto, esto es, políticas públicas basadas en evidencia, se sustentan en un análisis de la situación con evidencia que permita tomar mejores decisiones, incluso algunas de esas decisiones sobre la base de procesos automáticos, por ejemplo en la asignación de beneficios sociales, fiscalización y otros.
La mayoría de los estados de la región han adoptando medidas para usar de mejor forma los datos e información que reside en poder del estado, y relegar a un segundo plano los, “me tinca que…” o “yo creo que…” hasta aquí todo bien, el problema es cuando con analizamos adecuadamente los problemas que presentan el uso de datos.
Hoy nos vemos enfrentados al uso de datos y algoritmos para múltiples procesos: análisis de riesgo de crédito, selección de personal, reconocimiento facial y muchos otros.
En los últimos años se han podido detectar diversas dificultades, esto es, usos poco justos de datos como lo demuestran Michael Kearns y Aaron Roth en su muy buen libro The Ethical Algorithm, el sesgo de los datos (más sobre el tema de los sesgos aquí) y los problemas de privacidad han mostrado el lado B del uso del Big Data y el aprendizaje automático. Lo que ha llevado en muchos casos de modelos predictivos a profundizar aún más algunas desigualdades.
Los datos que se utilizan para desarrollar estos modelos y algoritmos, en muchas ocasiones corresponden a muestras sesgadas, ya sea por el muestreo que se utilizó, o bien procesos de simplificación producto del volumen o la dificultad para obtenerlos. Y por otro lado el resultado del algoritmo que en muchas ocasiones queremos que sea un número (ranking) lo cual es otra simplificación llevan a resultados muy erróneos.
Cahty O’Neil, matemática de profesión que trabajó muchos años en sistemas de aprendizaje y recomendaciones de crédito hipotecarios pudo verlo con sus propio ojos.
En su muy buen libro “Armas de Destrucción Matemática”, describe muchos casos en los cuales estos algoritmos, reproducen nuestros sesgos, con un problema más profundo, ya que finalmente están asociados a procesos de decisión en muchos casos automáticos, por lo que nos enteramos después de ciertas decisiones, que perpetúan desigualdades.
Aquí les dejo una muy buena reseña al libro de O’Neil con un nombre muy sugerente “La mano invisible que mece la cuna (y la tumba)”.
En su libro, que se deja leer muy bien, va demostrando a través de múltiples ejemplos, como el uso de estos sistemas reproducen muchos de los sesgos de nuestra sociedad, tal es el caso de: ranking de universidades, sistemas de evaluación de riesgo de créditos hipotecarios, evaluación automática de profesores, sistemas de asignación de la fuerza policial o bien sistemas automáticos de preselección de personal. Todos estos casos en los cuales, en forma posterior se pudo demostrar que el uso poco justo de estos algoritmos, lo que lograban era profundizar esos sesgos.
La misma O’Neil plantea que estos algoritmos se basan en dos principios, en primer lugar acceso a datos y luego una definición de éxito (la función a maximizar), y que en muchas ocasiones los referidos datos tienen sesgos, o bien la definición de éxito es incompleta.
Hoy en día, que en muchos países, se está discutiendo el rol de la Inteligencia Artificial y de los datos a la hora de diseñar políticas públicas, resulta fundamental incorporar la dimensión ética de este análisis. Incluyendo algunas exigencias que me parecen estándares mínimos a los algoritmos: privacidad, no discriminación, transparencia, trazabilidad, auditoría.
Muy bueno Alejandro!!!!
Muchas gracias Ester!!