Raul Barral Tamayo's Blog

Frases Llenas

Hola mundo de Hannah Fry

Posted by Raul Barral Tamayo en lunes, 12 de julio, 2021


Título original: Hello World
© del texto: Hannah Fry, 2018
© de la traducción: Francisco J. Ramos Mena
Editorial: Blackie Books.

¿Deberíamos entregar a las máquinas todo el poder? ¿Confiamos realmente en ellas?

Los algoritmos ya deciden, sin ayuda humana, penas de cárcel, tratamientos clínicos y hasta el destino de un coche que se dirige directo a atropellar a un niño.

Un ensayo imponente que, desde las matemáticas, la sociología y los nuevos horizontes tecnológicos, proyecta un nuevo mundo. Un texto afinadísimo que no sataniza los algoritmos, sino el uso que, a menudo, les dan sus creadores y usuarios.

Por eso este libro crucial trata sobre nosotros: quiénes somos y quiénes queremos ser. Nuestro mañana depende de lo que pensemos hoy.

Hannah Fry es profesora adjunta de matemáticas urbanas en el University College de Londres. En su trabajo cotidiano utiliza modelos matemáticos para estudiar patrones de comportamiento humano, y ha colaborado con gobiernos, cuerpos policiales, analistas sanitarios y supermercados. Los vídeos de sus “charlas TED” acumulan millones de visitas, y ha presentado documentales de televisión para la BBC británica y la PBS estadounidense; también presenta el pódcast de ciencia The Curious Cases of Rutherford & Fry (“Los curiosos casos de Rutherford y Fry”), que desde hace tiempo produce la BBC.

Algunas de las cosillas que aprendí leyendo este libro que no tienen porque ser ni ciertas ni falsas ni todo lo contrario:

  • En la década de 1920, Robert Moses, un influyente urbanista neoyorquino, deseaba preservar su recién construido y galardonado parque nacional de Jones Beach como un coto privado para estadounidenses blancos y ricos. Sabedor de que su clientela preferida se dirigiría a la playa en sus automóviles privados, mientras que la gente de los barrios negros pobres lo haría en autobús, intentó limitar deliberadamente el acceso mediante la construcción de cientos de puentes de baja altura a lo largo de la carretera; demasiado bajos para que los autobuses, de más de tres metros y medio de altura, pudieran pasar por debajo.
  • Ningún objeto o algoritmo es bueno o malo en sí mismo. Lo importante es cómo se utiliza.
  • Este libro trata de nuestra relación con los algoritmos que ya están aquí, trabajando en colaboración con nosotros, potenciando nuestras habilidades, corrigiendo nuestros errores, resolviendo nuestros problemas y creando otros nuevos en el camino.
  • Trata de cuándo deberíamos confiar en una máquina por encima de nuestro propio juicio y cuándo deberíamos resistir la tentación de dejar que las máquinas tomen el control.
  • Trata de la necesidad de forzar a los algoritmos a mostrarnos sus entrañas y descubrir sus límites, y observarnos detenidamente a nosotros mismos y descubrir los nuestros; de separar lo bueno de lo perjuidicial, y decidir en qué clase de mundo queremos vivir.
  • El futuro no es algo que simplemente ocurre. Somos nosotros quienes lo creamos.
  • Comprender nuestros propios defectos y debilidades constituye la clave para mantener el control.
  • Los algoritmos se han deslizado en prácticamente todos los aspectos de la vida moderna, desde la salud y la delincuencia hasta el transporte y la política.
  • Un algoritmo es simplemente una serie de instrucciones lógicas que muestran cómo realizar una tarea de principio a fin. En esta amplia definición, la receta de un pastel es un algoritmo.
  • Ya existen algoritmos con libertad para actuar como instancias decisorias autónomas; para decidir penas de cárcel, tratamientos para pacientes de cáncer, y la forma de actuar en un accidente de automóvil. Ya están tomando constantemente, en nuestro nombre, decisiones que pueden alterar nuestras vidas. La pregunta es: si estamos entregándoles todo ese poder, ¿de verdad merecen nuestra confianza?
  • Robert Epstein, psicólogo: “Cuando la gente ignora que está siendo manipulada, tiende a creer que ha adoptado voluntariamente su nueva forma de pensar”.
  • Merece la pena subrayar la percepción que el experimento sugiere que tenemos de unos algoritmos que la mayoría de las veces son correctos: terminamos creyendo que su juicio es siempre superior al nuestro; y al cabo de un tiempo ya ni siquiera somos conscientes de nuestro propio sesgo con respecto a ellos.
  • Es importante hacer una distinción, porque una cosa es confiar en un algoritmo que sabemos que generalmente resulta fiable, y otra muy distinta confiar en uno sin tener un conocimiento sólido de su nivel de calidad.
  • En los años que llevo trabajando como matemática y manejando datos y algoritmos, he llegado a la conclusión de que la única forma de juzgar objetivamente si un algoritmo resulta fiable o no es investigando a fondo cómo funciona. A primera vista no parecen tener nada que envidiar a la auténtica brujería; pero en cuanto uno sabe dónde está el truco, el misterio se desvanece.
  • Habrá ocasiones en las que tengamos que ceder el control a lo desconocido aun sabiendo que el algoritmo puede cometer errores. Y momentos en los que nos veamos forzados a aquilatar nuestro propio juicio en comparación con el de la máquina; en los que, si decidimos fiarnos de nuestros instintos en lugar de sus cálculos, necesitaremos tener bastante coraje para defender nuestras propias convicciones.
  • El elemento humano parece ser una parte crucial del proceso: que tener a una persona con capacidad de veto en posición de supervisar las sugerencias de un algoritmo antes de tomar una decisión constituye la única forma de evitar errores. Al fina y al cabo, solo los humanos sienten el peso de la responsabilidad de sus decisiones.
  • Los humanos tampoco resultan ser siempre fiables. A veces, acertarán al decidir prescindir de un algoritmo; pero a menudo es mejor ignorar nuestros propios instintos.
  • En el equilibrio de poder entre el humano y el algoritmo, ¿quién, o qué, debería tener la última palabra?
  • Si nuestra tarea implica cualquier tipo de cálculo, merece la pena que apostemos siempre por el algoritmo. Puede que la máquina no sea perfecta, pero darle a un humano capacidad de veto sobre el algoritmo no hará sino añadir un mayor nivel de error.
  • En nuestra relación con las máquinas hay una paradoja. Si bien tendemos a confiar excesivamente en todo aquello que no entendemos, en cuanto sabemos que un algoritmo puede cometer errores también tenemos el hábito, bastante molesto, de reaccionar de forma exagerada y descartarlo por completo, volviendo a dar prioridad a nuestro propio y deficiente juicio.
  • La gente es menos tolerante a los errores de un algoritmo que a los suyos propios, incluso si estos últimos son mayores.
  • Si queremos sacar el máximo partido de la alta tecnología tendremos que encontrar la forma de ser un poco más objetivos.
  • Debemos bajar a los algoritmos de su pedestal, examinarlos un poco más detenidamente y preguntarnos si de verdad son capaces de hacer lo que dicen. Esa es la única forma de decidir si merecen o no el poder que se les ha otorgado.
  • A menudo nos encontraremos con que apenas podemos influir en el poder y en el alcance de los algoritmos que nos rodean, incluso de aquellos que nos afectan de manera directa.
  • Rara vez resulta obvio lo que pueden hacer nuestros datos, o, cuando se introducen en un algoritmo inteligente, lo valioso que pueden llegar a ser. Ni tampoco, por otra parte, lo barato que nos compraron.
  • Los supermercados fueron de los primeros en reconocer el valor de los datos de un individuo.
  • Cuando se recopila el suficiente número de datos llega un momento en que resulta difícil saber qué descubrirás.
  • Palantir es solo un ejemplo de una nueva generación de empresas conocidas como “brókeres de datos”, que se dedican a comprar y recopilar información personal que luego revenden o comparten para obtener beneficios. Hay muchas otras: Acxiom, Corelogic, Datalogix, eBureau …
  • Cada vez que hacemos algo, nuestra información se recopila y se vende a un bróker de datos. Hay miles y miles de detalles dentro de miles y miles de categorías y archivos almacenados en servidores ocultos en algún sitio para prácticamente todos y cada uno de nosotros.
  • Apenas hay diferencia entre la forma de operar de los brókeres de datos y la que utilizan Google, Facebook, Instagram, y Twitter. Han convertido nuestros secretos más personales y privados en una mercancía.
  • Como explicó el equipo en una presentación realizada en la convención DEFCON en 2017, eliminar el anonimato de una enorme base de datos de historiales de navegación resultó espectacularmente fácil. A veces había pistas directas sobre la identidad de la persona en la propia URL. Finalmente obtuvieron los nombres completos de prácticamente todas las personas que integraban la base de datos.
  • Ahi es donde empezamos a cruzar, de lejos, la “línea repulsiva”: cuando una información privada y confidencial acerca de nosotros, recopilada sin nuestro conocimiento, se utiliza para manipularnos. Y eso fue precisamente lo que sucedió con la consultora política Cambridge Analytica.
  • Desde la década de 1980, los psicólogos utilizan un sistema basada en cinco características para cuantificar la personalidad de un individuo. Este obtiene una puntuación en cada uno de los siguientes rasgos: apertura a nuevas experiencias, escrupulosidad, extraversión, afabilidad y neuroticismo. En conjunto, ofrecen una práctica manera estándar de describir qué tipo de persona eres.
  • Cuando apareció su segundo estudio, en 2014, el equipo de investigadores afirmaba que, si se podían recopilar 300 “Me gusta” del perfil de Facebook de cualquier persona, el algoritmo era capaz de evaluar su carácter con mayor precisión que su propio cónyuge.
  • entrada original: https://raulbarraltamayo.wordpress.com/2021/07/12/hola-mundo-de-hannah-fry/
  • Podemos creer que somos inmunes a la manipulación emocional, pero probablemente no lo somos.
  • Gracias al trabajo realizado por los mismos académicos cuyos algoritmos rediseñó Cambridge Analytica, que la publicidad resulta más eficaz si se focaliza específicamente en determinados rasgos de personalidad.
  • Incluso con las mejores campañas, las más maquiavélicamente perfiladas hasta el último detalle, solo un reducido nivel de influencia termina alcanzando su objetivo. Y sin embargo, potencialmente, en unas elecciones políticas esos pequeños fragmentos de influencia pueden ser lo único que haga falta para inclinar la balanza.
  • Ese fue el trato que hicimos. Tecnología gratuita a cambio de nuestros datos y de la posibilidad de utilizarlos para influir y obtener beneficios de nosotros. Lo mejor y lo peor del capitalismo en un sencillo trueque. Podríamos decir que nos sentimos satisfechos con ese trato. Pero si lo hacemos, es importante que de entrada seamos conscientes de los peligros que entraña recopilar esos datos.
  • Si actualmente los datos son el “nuevo oro”, hasta ahora hemos estado viviendo en el Salvaje Oeste.
  • Lo que sí puede hacer un algoritmo es utilizar los datos de una persona para calcular su riesgo de reincidencia. Y dado que las decisiones de muchos jueces se basan en la probabilidad de que un delincuente vuelva a delinquir, esta resulta ser una capacidad bastante útil.
  • Cuando oí por primera vez que en las salas de justicia se utilizaban algoritmos no me pareció que fuera una buena idea. Un algoritmo cometerá errores, y cuando un error pueda implicar que alguien pierda su derecho a la libertad, no me pareció responsable depositar ese poder en manos de una máquina. No soy la única.
  • “Cuanto más previsibles sean las decisiones, menos espacio habrá para el arte de la abogacía”.
  • En mi opinión, tener un algoritmo (incluso uno imperfecto) colaborando con los jueces para apoyar su congnición, a menudo deficiente, es un paso en la dirección correcta. Al menos un algoritmo bien diseñado y adecuadamente regulado puede ayudar a eliminar tanto el sesgo sistemático como el error aleatorio. No puedes cambiar a toda una cohorte de jueces, especialmente si de entrada ni siquiera son capaces de explicarte cómo toma sus decisiones.
  • Los algoritmos requieren una idea clara e inequívoca de qué queremos que hagan exactamente, y una comprensión sólida de los fallos humanos que queremos que subsanen.
  • Toda la historia y la práctica de la medicina moderna se basan en el hallazgo de patrones en un conjunto de datos. Desde que Hipócrates fundara su escuela de medicina en la antigua Grecia, hace unos 2500 años, la observación, la experimentación y el análisis de datos han sido fundamentales en la lucha por mantenernos sanos.
  • El papel de un médico tiene muchos aspectos que probablemente un algoritmo nunca será capaz de reproducir. Para empezar, la empatía; o la capacidad de apoyar a los pacientes con dificultades de tipo social, psicológico o incluso financiero. Pero hay algunas áreas de la medicina donde los algoritmos pueden echar una mano. Especialmente en aquellas funciones donde el reconocimiento de patrones médicos se da en su forma más pura y la clasificación y la predicción casi adquieren un valor absoluto con exclusión de todo lo demás. Especialmente en un ámbito como la patología.
  • Refinar un algoritmo con frecuencia implica tener que elegir entre sensibilidad y especificidad. Si, por ejemplo, decidimos dar prioridad a eliminar por completo los falsos negativos, el algoritmo podría marcar todas las mamas que considerara mínimamente sospechosas. Pongamos que, por el contrario, decidimos priorizar la eliminación absoluta de falsos positivos. El algoritmo consideraría a todo el mundo sano, obteniendo así un 100% de especificidad.
  • Existe aquí un cierto dilema. A los seres humanos, como especie, podría beneficiarnos enormemente permitir que los algoritmos accedan a nuestros historiales médicos.  Pero para hacerlo realidad tendremos que ceder nuestros historiales a empresas lo bastante ricas como para ayudarnos a superar los problemas que se interponen entre nosotros y ese mágico doctor electrónico. Y al renunciar a nuestra privacidad siempre correremos el peligro de que nuestros historiales puedan verse comprometidos, o de que alguien los robe o los utilice contra nosotros. ¿Estamos dispuestos a asumir ese riesgo? ¿Creemos lo bastante en esos algoritmos y en sus beneficios como para sacrificar nuestra privacidad? O, llegado el caso, ¿de verdad nos importará mucho?
  • También otra razón por la que es posible que no queramos que nuestro ADN figure en ninguna base de datos. Si bien existen leyes que protegen a la gente de los peores tipos de discriminación genética, esas normas no se aplican a los seguros de vida.
  • En cualquier faceta de la vida en la que se introduzca un algoritmo siempre habrá que establecer algún tipo de equilibrio: entre la privacidad y el bien común; entre el individuo y la sociedad; entre diferentes retos y prioridades. No es fácil encontrar un camino entre esta maraña de incentivos, ni siquiera cuando al final aguarda el inequívoco premio de una mejor asistencia médica para todos.
  • No es exagerado decir que el teorema de Bayes constituye una de las ideas más influyentes de la historia. Entre los científicos, los expertos en aprendizaje automático y los estadísticos despierta un entusiasmo que casi roza la veneración.
  • El teorema de Bayes nos ofrece una forma sistemática de actualizar nuestra creencia en una hipótesis basándose en las evidencias. Acepta que nunca podemos estar seguros al cien por cien de la teoría que estamos evaluando, pero nos permite formular la mejor conjetura posible a partir de la información de la que disponemos.
  • Al proporcionarnos un mecanismo para medir nuestra creencia en algo, Bayes nos permite extraer conclusiones sensatas de observaciones imprecisas, de datos confusos, incompetos y aproximados, e incluso de la ignorancia. Bayes no se limita a confirmar nuestras intuiciones. Resulta que el hecho de vernos forzados a cuantificar nuestras creencias a menudo nos lleva a sacar conclusiones contrarias a la intuición.
  • En todos los ámbitos de la ciencia, Bayes constituye una potente herramienta para destilar y entender lo que de verdad sabemos.
  • La perspectiva bayesiana muestra realmente todo su potencial cuando tratamos de considerar más de una hipótesis a la vez.
  • No todos los kilómetros de carretera son iguales. La mayoría de los kilómetros son muy fáciles de recorrer. Pero otros resultan mucho más difíciles. En el momento de redactar estas líneas los vehículos Waymo todavía no son capaces de ir a cualquier parte: están “geocercados” en una pequeña área predefinida.
  • Si se espera que los pilotos solo tomen el control en circunstancias excepcionales, estos ya no se conservarán las habilidades necesarias para manejar el sistema por sí solos; en consecuencia, tendrán muy poca experiencia en la que basarse a la hora de afrontar el reto de una emergencia imprevista.
  • En 1983, la psicóloga Lisanne Bainbridge escribió un trascendental ensayo sobre los peligros ocultos de confiar excesivamente en los sistemas automatizados. Constrúyase una máquina para mejorar el rendimiento humano, y esta conducirá, irónicamente, a una reducción de la capacidad humana. Al haber una tecnología que lo hace todo por nosotros, tenemos pocas oportunidades de practicar nuestras habilidades.
  • Hasta que logremos la plena autonomía, es probable que a veces el coche retorne inesperadamente el control al conductor. ¿Seguiremos recordando instintivamente qué hacer? ¿Y los conductores adolescentes del futoro tendrán siquiera la posibilidad de dominar ya de entrada las habilidades necesarias?
  • “Incluso para un ser humano altamente motivado es imposible mantener una atención visual eficaz hacia una fuente de información en la que apenas pasan cosas durante más de una media hora”.
  • Los accidentes de tráfico siguen siendo una de las principales causas de muertes evitables en todo el mundo.
  • En mi opinión, en ningún otro ámbito la necesidad urgente de una regulación algorítmica resulta más acuciante y más clara que en el caso de la delincuencia, puesto que la propia existencia de estos sistemas plantea graves preguntas que no tienen una respuesta fácil. De alguna manera tendremos que afrontar estos difíciles dilemas. ¿En qué momento hay que dar prioridad a las víctimas de delitos evitables por encima de las víctimas del algoritmo? ¿Cuál es nuestra prioridad? ¿Mantener la delincuencia en los niveles más bajos posible? ¿O preservar la libertad de los inocentes por encima de todo lo demás? ¿Cuánto de lo uno estamos dispuestos a sacrificar en aras de lo otro?
  • Bien pudiera ser que al final decidiéramos que debería haber límites al alcance de los algoritmos; que algunas cosas no deben ser analizadas ni calculadas.
  • Siempre que nos encontramos con que no disponemos de suficiente información para tomar decisiones por nosotros mismos, tenemos el hábito de imitar el comportamiento de quienes nos rodean. Esa es la razón de que a veces los teatros contraten a gente que se infiltra entre el público, y aplaude y lanza vítores en los momentos oportunos (las llamadas “claques”): cuando oímos aplaudir a otros es muy probable que también nosotros nos unamos.
  • Utilizamos la popularidad como sustituto y referente de la calidad en todas las formas de entretenimiento.
  • Esto hace que la peor música llegue a lo más alto.
  • Invertir en películas es un negocio de riesgo. Pocos filmes ganan dinero, la mayoría apenas recuperan gastos, y los fiascos están a la orden del día. Es una aventura en la que hay que apostar fuerte.
  • Entre todas las cosas asombrosamente impresionantes y alucinantes que los datos y las estadísticas pueden decirme, una de ellas no es qué se siente siendo humano.
  • Los algoritmos que hemos desarrollado hasta la fecha tienen una impresionante y asombrosa lista de logros en su haber. Pueden ayudarnos a diagnosticar el cáncer de mama, atrapar a los asesinos en serie y evitar accidentes aéreos; proporcionan a cada uno de nosotros un acceso fácil y gratuito a toda la riqueza del conocimiento humano al alcance de los dedos; y conectan de manera instantánea a personas de todo el globo de una forma con la que nuestros antepasados solo podían soñar.
  • En nuestra ansia de automatización, parece que hayamos cambiado un problema por otro. Los algoritmos, por muy útiles e impresionantes que resulten, nos han dejado con una maraña de complicaciones que desenredar.
  • Surgen problemas con la privacidad, la existencia de sesgos parciales, los errores, la responsabilidad y la transparencia que no van a desaparecer así como así.
  • Puede que el error esté precisamente en concebir los algoritmos como si estuvieran dotados de algún tipo de autoridad.
  • Incluso los algoritmos que cumplen sus promesas a menudo hacen un mal uso de su autoridad. Este libro está lleno de ejemplos de daño que pueden causar.
  • Tampoco se puede decir que abunden los ejemplos de sistemas perfectamente justos y equitativos allí donde los algoritmos no intervienen para nada. Miremos donde miremos, en cualquier ámbito que observemos, si profundizamos lo bastante en cualquier sistema encontraremos uno u otro tipo de sesgo.
  • ¿Y si aceptamos que la perfección no existe? Los algoritmos siempre van a cometer errores; siempre serán injustos. Eso no debería apartarnos de nuestro esfuerzo por hacerlos cada vez más precisos y menos sesgados en todo lo que podamos.
  • Quizá la respuesta radique en desarrollar algoritmos que puedan ser cuestionables de principio a fin.
  • En mi opinión, los mejores algoritmos son los que tienen en cuenta al ser humano en todas y cada una de sus fases.
  • El algoritmo nunca se fatiga, y el patólogo rara vez hace un diagnóstico incorrecto: algoritmo  y humano trabajan juntos en estrecha colaboración, explotando cada uno de ellos los puntos fuertes del otro y aceptando asimismo cada uno las deficiencias del otro.
  • Gari Kaspárov: “Jugando con ayuda de ordenadores podríamos centrarnos en la planificación estratégica en lugar de dedicar tanto tiempo a hacer cálculos”.
  • Ese es el futuro que yo espero. Un futuro donde los algoritmos arrogantes y dictatoriales que llenan muchas de las páginas de este libro sean cosa del pasado. Donde dejemos de ver las máquinas como amos y señores objetivos, y empecemos a tratarlas como cualquier otra fuente de poder: cuestionando sus decisiones; escudriñando sus motivos; reconociendo nuestras emociones; exigiendo saber quién sale beneficiado; responsabilizándolas de sus errores, y negándonos a caer en la autocomplacencia.
  • De algo no hay duda: en la era del algoritmo, los humanos nunca hemos sido más importantes.

Enlaces relacionados:

Otros libros relacionados:

raul

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Salir /  Cambiar )

Google photo

Estás comentando usando tu cuenta de Google. Salir /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Salir /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Salir /  Cambiar )

Conectando a %s

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios .

 
A %d blogueros les gusta esto: