La confianza excesiva en los modelos de lenguaje
El uso de la inteligencia artificial para tareas cotidianas ha crecido exponencialmente, pero un reciente incidente en Chuzhou, China, pone de relieve los riesgos de delegar decisiones críticas en estas herramientas. Un agricultor de 67 años, identificado como el señor Wu, perdió la totalidad de su cosecha de sésamo tras seguir las recomendaciones de un chatbot para eliminar plagas y malas hierbas.
Tras un año de utilizar la tecnología con resultados positivos, Wu confió plenamente en el sistema cuando le solicitó una mezcla específica de químicos. El resultado fue devastador: el dron del agricultor pulverizó un herbicida que, aunque efectivo contra la maleza en otros cultivos, resultó letal para el sésamo. Las pérdidas económicas se estiman en 22.000 dólares.
El origen del error: el flufenacet
La investigación posterior confirmó que la IA recomendó el uso de flufenacet, un compuesto diseñado para campos de soja que destruyó tanto las plagas como las plántulas de sésamo. Al cuestionar al sistema tras el desastre, la propia herramienta admitió que el producto era inadecuado para dicho cultivo.
Este caso subraya la naturaleza de los modelos actuales, que no poseen una base de conocimiento propia ni comprensión real del mundo físico, sino que generan respuestas basadas en probabilidades de lenguaje. Los proveedores de estos sistemas suelen incluir advertencias sobre posibles errores, las cuales son frecuentemente ignoradas por los usuarios debido a la falsa sensación de autoridad que proyectan las respuestas de la inteligencia artificial al ser redactadas con total seguridad.
!Advertencia! Tenemos problemas...
Debes iniciar sesión para poder comentar.. Iniciar sesión o Registrarme