
¿Qué es la IA?
La Inteligencia Artificial, o IA, se refiere a la inteligencia del software y las computadoras para resolver problemas y tomar decisiones aprovechándose de la avanzada capacidad de procesamiento de datos que permiten los dispositivos informáticos. Las funciones de la IA no son distintas de la inteligencia humana, solo que a niveles que van mucho más allá de las capacidades humanas.
¿Cómo beneficia la IA a las empresas?
La promesa de la IA para revolucionar las funciones empresariales es vasta y casi infinita. Aunque se desconoce el alcance de lo que es capaz, algunas de las posibilidades que se vislumbran desde el principio están ayudando a sectores como las cadenas de suministros, la atención a la salud y las finanzas —entre muchos otros—, desde el desarrollo de procesos para llevar los productos de un punto a otro sin problemas hasta el procesamiento de volúmenes de datos de la salud para identificar patrones y anomalías en el diagnóstico y ofrecer un mejor tratamiento, pasando por la detección más inteligente de fraudes y el bloqueo de transacciones fraudulentas para mantener a salvo los activos financieros... y eso es solo la punta del iceberg.
Algunos ejemplos de la IA
La IA actúa como un término paraguas que incluye variaciones de la tecnología, cada una de las cuales aporta un beneficio a las empresas y a la sociedad y otros. Algunos ejemplos de los diferentes tipos de tecnología de la IA son:
Aprendizaje automático (machine learning, ML): Las máquinas tienen la posibilidad de descubrir sus propios algoritmos o modelos, alimentándose de datos para "aprender" sobre el problema que intentan resolver. Cuantos más datos se utilicen, mayor será el potencial de los resultados. Al principio, el proceso de aprendizaje puede requerir etiquetadores humanos para identificar los resultados correctos; con el paso del tiempo, el elemento humano será menos necesario a medida que se produzcan resultados con mayor exactitud.
Grandes modelos lingüísticos (LLM): Basados en el aprendizaje profundo, que es un subconjunto más amplio del ML, los LLM están previamente entrenados y se basan en redes neuronales compuestas por decenas de millones de parámetros que procesan grandes volúmenes de datos en paralelo. Tanto si funcionan en modo de aprendizaje autosupervisado como semisupervisado, su objetivo es no solo obtener conocimientos, sino incorporar facetas contextuales del conocimiento, como la sintaxis, la semántica y la ontología propias de los seres humanos, como la forma en que pensamos y nos comunicamos.
IA generativa: Tecnología capaz de generar medios, como texto e imágenes, en respuesta a instrucciones mediante el aprendizaje de las estructuras de los datos de entrenamiento ingresados. Al recibir datos ingresados por los usuarios y aplicar técnicas de ML mediante el procesamiento de los datos a través de redes neuronales, los medios resultantes son generados por la IA y pueden utilizarse en múltiples aplicaciones, como la creación de inspiradas obras de arte, el desarrollo de código utilizado en el diseño de software o la redacción de documentación, como artículos e informes, completos con texto citado, y mucho más.
Riesgos de seguridad asociados a la IA
Por mucho que se hable de los beneficios que aporta a las organizaciones de todo el mundo, la IA representa un riesgo igual de importante para cada sector. Y aunque los riesgos de ciberseguridad no son nada nuevo en sí mismos, sí lo es el impacto que la IA tiene actualmente en el riesgo y cómo evolucionará a medida que la IA siga introduciéndose en las empresas de formas novedosas.
No se trata solo de una creencia de unos pocos o del argumento de una superproducción cinematográfica que detalla cómo el auge de la IA conducirá a la desaparición de la humanidad. De hecho, el consenso general entre la mayoría de los profesionales de la ciberseguridad es que la IA no solo se convertirá en un arma a una escala y velocidad que está mucho más allá de lo que entendemos y conocemos hoy en día, sino que, en un giro de la ironía, serán necesarias las defensas habilitadas por la IA para que las organizaciones "luchen contra estos ataques avanzados con tácticas avanzadas que detecten, interpreten y respondan a la amenaza antes de que tenga la oportunidad de hacer un impacto".
¿Y cuáles son exactamente los riesgos basados en la IA a los que se enfrentan las organizaciones para mantener a salvo sus recursos?
Gracias al OWASP y su proyecto Top 10 for Large Language Model Applications for 2023 (Las 10 vulnerabilidades más críticas para grandes aplicaciones de modelos lingüísticos para 2023), un informe exhaustivo dedicado "a educar a desarrolladores, diseñadores, arquitectos, gerentes y organizaciones sobre los riesgos potenciales de seguridad al desplegar y administrar grandes modelos lingüísticos (LLM)". La lista incluye:
- las vulnerabilidades más críticas que afectan a la IA
- destacando su impacto potencial
- facilidad de explotación
- prevalencia en aplicaciones reales
LLM01: Inyección puntual
Para aquellos familiarizados con los ataques de inyección SQL, las vulnerabilidades de inyección puntual en IA son un tipo de ataque similar. Las entradas se elaboran de manera que manipulen el modelo para provocar acciones no deseadas. Las inyecciones directas son capaces de sobrescribir las respuestas del sistema, mientras que los ataques de inyección indirecta buscan manipular entradas recibidas de fuentes externas.
Y al igual que los ataques de inyección SQL, las estrategias de seguridad para mitigar esta vulnerabilidad implican la implementación de prácticas tanto de validación de entrada como de saneamiento de datos para los datos proporcionados por el usuario. Además, la codificación del formato de salida ayuda a filtrar las respuestas, al tiempo que reduce aún más la vulnerabilidad de la manipulación de las solicitudes.
LLM02: Manejo inseguro de la salida
Los atacantes suelen emplear tácticas de fuzzing para determinar la mejor forma de atacar el software. Al examinar las respuestas de salida a entradas diseñadas especialmente, puede quedar información crítica expuesta que proporcione a los actores nocivos de amenazas una pista sobre las vulnerabilidades que pueden aprovecharse para comprometer los sistemas. Cuando la salida de un LLM no es escudriñada, puede ocurrir una exposición al sistema subyacente a través de vulnerabilidades de Falsificación de Solicitudes del Lado del Servidor (SSRF). Para minimizar esta y otras vulnerabilidades que podrían permitir eludir eficazmente los controles de acceso y acceder sin autorización a datos confidenciales, es necesario combinar la validación y el saneamiento de los datos ingresados para mitigar las amenazas iniciadas por peticiones maliciosas. Además, se recomienda revisar con frecuencia los datos de auditoría para garantizar que los recursos sigan estando protegidos de la IA.
LLM03: Envenenamiento de los datos de entrenamiento
Si los datos de entrenamiento son la esencia vital del proceso de aprendizaje profundo de la IA, es lógico que las salidas generadas por la IA solo sean tan buenos como los datos ingresados. Este precepto es especialmente significativo si se tiene en cuenta que pueden introducirse vulnerabilidades que podrían comprometer fácilmente la seguridad, integridad y eficacia de los datos. Por eso es tan importante que las organizaciones se aseguren de que los datos de entrenamiento se obtengan de fuentes confiables y de que se verifica su integridad para garantizar que los datos de entrenamiento no hayan sido envenenados o manipulados, ni que se hayan introducido sesgos que pudieran afectar los comportamientos éticos de los sistemas de IA.
LLM04: Modelo de denegación de servicio (DoS)
Al igual que los ataques DoS en las redes, los LLM representan un objetivo valioso para los actores de amenazas. Las operaciones que consumen muchos recursos, cuando son atacadas, pueden provocar interrupciones del servicio y un aumento de los costos, lo que se complica aún más por la dependencia de herramientas basadas en IA para todo, desde las operaciones empresariales hasta la ciberseguridad. Si a esto le sumamos el nivel de varianza procedente de los datos ingresados por los usuarios, el número de variables no hace sino crecer exponencialmente. Los profesionales de la seguridad, a pesar de tener mucho trabajo por delante, deberían aplicar topes a los recursos para limitar las solicitudes excesivas que, de otro modo, agotarían los recursos. Cuando se combinan con una supervisión continua de la utilización de los recursos y unos límites de entrada estrictos, los administradores pueden adoptar un enfoque proactivo para evitar el agotamiento de los recursos sin dejar de proporcionar a los usuarios acceso a las herramientas de IA.
LLM05: Cadena de suministro
El año 2022 fue un año en el que se produjeron no una, sino varias transgresiones de la cadena de suministro de gran repercusión. De hecho, el impacto de estas transgresiones fue tal que los analistas pronosticaron para 2023 que seguirían creciendo y proliferando los ataques a la cadena de suministro a medida que los actores de las amenazas continúen poniendo sus miras en este objetivo tan grande y rico en oportunidades. Según el OWASP, "las vulnerabilidades de la cadena de suministro en LLM pueden afectar a todo el ciclo de vida de la aplicación", incluyendo todo, desde bibliotecas, instancias en contenedores, imágenes y paquetes. Esto se extiende a los proveedores de servicios en la nube que pueden estar alojando modelos y/o proporcionando servicios que interactúan con su LLM, como plugins (pero hablaremos más sobre ellos más adelante, ya que tienen sus propias vulnerabilidades dedicadas que tocaremos). Efectuar la protección de sus modelos de IA de las amenazas a la cadena de suministro requiere un enfoque por capas de su plan de seguridad. Para empezar, investigar a fondo a los socios equivale a sentar unas bases sólidas. Realizar auditorías periódicas de las fuentes es una parte clave de la solución para garantizar que la seguridad siga siendo una prioridad. La aplicación de las mejores prácticas de firma de modelos y códigos funciona mejor cuando se combina con el trabajo exclusivo con fuentes de confianza. Por supuesto, es imprescindible la supervisión activa para detectar cualquier vulnerabilidad, componentes fuera de alcance que se estén utilizando cuando no deberían, o incluso para detectar anomalías que puedan representar un riesgo para la seguridad de sus LLM. Por último, un inventario actualizado de los componentes que se utilizan junto con las operaciones de aprendizaje automático (MLOp) para garantizar que los modelos se desplieguen y administren de forma confiable, eficiente y segura.
LLM06: Divulgación de información sensible
Otra preocupación familiar en materia de ciberseguridad que plantea un factor de riesgo exponencialmente desconocido para la seguridad de los datos es la fuga de datos. Aunque esto tampoco es nada nuevo para el sector de la seguridad, no pueden cuantificarse las ramificaciones del riesgo basado en la IA. La información compartida con la tecnología de la IA puede revelar (y ha revelado) inadvertidamente datos confidenciales en las respuestas a los usuarios, como ocurrió en tres casos recientes de filtración de datos confidenciales pertenecientes a Samsung. En particular, las aplicaciones de ML aprenden de todos los datos ingresados y, a medida que construyen su base de datos, pueden basarse en estos datos, y lo harán, para resolver una consulta, lo que conduce a un posible acceso no autorizado a los datos, a violaciones del cumplimiento y/o de la privacidad y, por supuesto, posiblemente a una transgresión de datos. De ahí que sea fundamental que los usuarios conozcan y comprendan las posibles consecuencias de sus acciones mediante la capacitación de los usuarios para que sean conscientes de lo que no deben compartir con la IA y por qué no deben hacerlo. Además, a las organizaciones les conviene alinear la capacitación de los usuarios con las políticas organizativas para respaldar aún más las prácticas empresariales seguras.
LLM07: Diseño inseguro de plugins
Como parte de las vulnerabilidades de la cadena de suministro, los plugins y su diseño representan un riesgo crítico para los datos a los que accede y genera la IA debido a la propia naturaleza del diseño de los plugins. En muchos casos, los LLM se basan en plugins o API para trabajar directamente con los datos de entrada y los datos de salida generados por los modelos de IA. Los plugins diseñados de forma insegura pueden ser propensos a peticiones maliciosas que pueden dar lugar, entre otras cosas, a la fuga de datos, la exposición de los sistemas subyacentes o la ejecución remota de código. También pueden conducir a resultados de envenenamiento, lo que hará que el modelo genere resultados que hayan sido comprometidos o que proporcionen información sensible del sistema que puede ser utilizada para promover el objetivo de un atacante. Como precaución general, se aconseja que todos los datos de entrada se traten como no seguros y, por lo tanto, se recomienda la validación de entrada (incluidos los requisitos de entrada parametrizados) junto con controles de acceso explícitos para limitar el riesgo de problemas de seguridad. Además, los plugins deben probarse a fondo para validar el código y deben adherirse a las mejores prácticas para desarrollar código seguro en cada fase del proceso de desarrollo.
LLM08: Dependencia excesiva
La visión y, hasta cierto punto, el marketing de la IA, anuncia pensamientos de un asistente personalizado que siempre está disponible para realizar el "trabajo pesado" para nosotros, no muy diferente del protocolo JARVIS utilizado por Tony Stark/Iron Man para manejar todo, desde la curaduría de listas de reproducción hasta la realización de cálculos científicos sobre la marcha al identificar un elemento desconocido. Y si bien es cierto que se ha recurrido a la IA para llevar a cabo proezas autónomas, como los autos autoconducidos, la dependencia concedida al modelo (directa) o a las acciones automatizadas que resultan de los datos que la IA ha procesado y que son ejecutadas por plugins o herramientas (indirectas) comparten un rasgo común: se producen sin intervención ni autorización humana. Esto por sí solo plantea una de las preocupaciones más aterradoras, ya que los LLM o los plugins que se basan en sus datos pueden realizar funciones que no son necesarias o que ni siquiera se pretende que realicen simplemente debido a la dependencia o a los "permisos" que se les otorgan, incluso si la operación prevista es una que los humanos no querrían que se realizara. O como principio básico del borrador de la Ley de IA de la Unión Europea: "Los sistemas de IA deben ser supervisados por personas, en lugar de hacerlo la automatización, para evitar resultados perjudiciales"
¿Cómo mitigar este tipo de riesgo? Aplicación de un enfoque basado en los riesgos. Similar a un modelo de Confianza Cero, "no se debe confiar en que los LLM se autoapliquen políticas o se autorrestrinjan". Para conseguirlo, intente limitar el acceso a plugins y herramientas solo a las funciones necesarias. Asimismo, evite las funciones abiertas o cualquier función que sea simplemente innecesaria para endurecer la superficie de ataque (de la última), al tiempo que refuerza los controles de acceso para que solo interactúen con los datos o realicen las acciones que sean necesarias para completar su proceso (primera).
LLM09: Exceso de confianza
Si el exceso de dependencia es una vulnerabilidad aterradora, el exceso de confianza se le parece, pero desde una perspectiva más preocupante. Se lo explicaremos. Muchos usuarios han adoptado bastante bien los modelos generativos de IA, como ChatGPT, entre otros, para crear contenidos como escribir artículos, capturar imágenes cautivadoras o mezclar contenidos de video que sean hiperrealistas y, sin embargo, todo ello está completamente producido por la IA. Aunque, de entrada, la capacidad de generar contenidos multimedia es una proeza en sí misma, como ocurre con muchas herramientas, la intención del usuario es lo que determina si se utiliza para construir o para destruir. Puede parecer una exageración, pero el riesgo que representa que los usuarios confíen en los contenidos de la IA como si fueran la verdad evangélica podría tener consecuencias desastrosas. Tomemos como ejemplo la información errónea que se genera en un documento técnico debido a una alucinación de la IA y cómo eso podría llevar a infinidad de problemas que afecten a industrias importantes, como la atención médica y las IT/IS. O lo relativamente fácil que es producir grabaciones de audio de personas que dicen cualquier cosa, y solo unos pocos segundos de fragmentos de sonido son necesarios para recrear su voz digitalmente. ¿Qué tal si tomamos esa grabación y la difundimos por Internet? Dependiendo del contenido de las palabras, podría bastar para arruinar la reputación pública de alguien o, por el contrario, la grabación "falsificada" podría utilizarse como parte de un delito.
En pocas palabras: no sabemos hasta dónde llega agujero sin fin en relación con las incalculables consecuencias de confiar demasiado en la IA. Pero hay tácticas que pueden ayudar a discernir entre lo que es real y lo que generan los LLM. Empecemos con la comprobación de los resultados con fuentes externas de confianza como una capa adicional de validación para determinar la exactitud y validez del contenido generado. Al igual que en el desarrollo de plugins, establecer y respetar prácticas de codificación seguras ayuda a minimizar el riesgo de introducir vulnerabilidades en el entorno de desarrollo. Además de los mecanismos de validación y verificación cruzada de la información, comunicar de forma clara y concisa los riesgos, los problemas conocidos y las limitaciones asociadas al uso de la IA y de los contenidos generados por la IA es un requisito fundamental para los esfuerzos éticos y de transparencia entre los creadores y los usuarios de contenidos, no muy diferente de las leyes de la FCC que rigen la veracidad en la publicidad.
LLM10: Robo de modelos
Esta vulnerabilidad es una de las más directas, ya que se refiere al acceso no autorizado y la filtración de datos, en este caso, el propio LLM por parte de los actores de la amenaza. No es muy diferente de las amenazas de filtración de datos en ciberseguridad observadas durante años antes de la IA, en las que los datos sensibles, privados y confidenciales son atacados y eliminados de dispositivos o redes con el propósito expreso de filtrar la información, robar detalles de propiedad o formar parte de campañas de espionaje. El robo de modelos de IA, como el de cualquier dato confidencial, puede ser muy grave desde el punto de vista económico y de la continuidad de la actividad empresarial. La pérdida puede consistir en una pérdida de ingresos o de ventajas competitivas por el uso no autorizado del modelo, incluido su uso como parte de un ataque adversario contra la organización a la que se robó el modelo. La clave está en proteger su LLM utilizando estrategias de seguridad en capas que incluyan fuertes controles de acceso, limitando el acceso a los recursos de la red a través de la segmentación de la red y el sandboxing (aislamiento del entorno) seguro, la monitorización activa de los recursos, así como la realización periódica de auditorías de los registros y las actividades vinculadas a su LLM. Respuesta a incidentes alertada y desplegada ante alertas de comportamientos sospechosos y para mitigar la detección de comportamientos anómalos. Además de los controles de acceso, la rápida mitigación de otras vulnerabilidades conocidas que afectan a los LLM (como las representadas en este artículo) puede ayudar a reducir el riesgo de que los actores maliciosos pivoteen o se desplacen lateralmente desde otra amenaza para comprometer su modelo.
Otros riesgos para la seguridad basados en la IA
Sandboxing inadecuado
El aislamiento de datos o sandboxing es una forma excelente de segmentar los procesos sensibles del resto del sistema. De este modo, los datos pueden procesarse eficazmente mientras se ejecutan de forma segura y aislada del sistema subyacente, lo que incluye la inaccesibilidad a amenazas externas o la exposición a riesgos fuera del entorno sandbox. Debido a la relativa incipiencia de la IA, el diseño de un espacio aislado universalmente aceptado o regulado plantea una serie de problemas. Sin embargo, las organizaciones que desean aprovechar la tecnología de IA hoy en día se beneficiarían de la creación de modelos, herramientas y sistemas de IA en entornos aislados para promover la experimentación con productos y servicios de una manera segura y ética que minimice el riesgo, al tiempo que aborda los desafíos, como la falta de salvaguardias formales, las consecuencias imprevistas o la falta de fidelidad entre las soluciones.
Desalineación de la IA
El término alineación de la IA se refiere a "los objetivos de la investigación para dirigir los sistemas de IA hacia los objetivos, preferencias o principios éticos de los seres humanos", según Wikipedia. Si a pesar de su competencia, un sistema de IA no puede avanzar hacia los objetivos previstos, se considerará que está desalineado y su falta de alineación podría dar lugar a comportamientos no deseados, incluidas acciones y fallos de funcionamiento que podrían causar más daños a las empresas y, lo que es peor, afectar la vida humana. Consideremos por un momento un sistema de IA utilizado para generar código para un servicio web. Aunque el objetivo del desarrollador sea crear un código complejo y seguro que dé lugar a un servicio que pueda utilizarse para simplificar las tareas informáticas, la IA también puede trastocarse para generar un potente código malicioso que pueda representar una amenaza para el servicio web mencionado anteriormente o para cualquier servicio web. De ahí la importancia de mantener un dedo que tome el pulso digital de la IA, para identificar lo que funciona y perfeccionar lo que no, para que los modelos sean más seguros. Un papel clave en el proceso de alineación es la supervisión humana. No limitarse a marcar una casilla cuando la IA acierte o falle en algo, sino adoptar un enfoque más pragmático y con base científica para documentar los problemas, realizar una capacitación continua, revisar los comentarios, llevar a cabo evaluaciones de los sistemas y haciendo todo esto de forma transparente, son algunas de las técnicas clave para lograr una mejor alineación.
Principales conclusiones:
- Desarrollar prácticas de validación de las entradas y saneamiento de las salidas para reducir las fugas de datos sensibles y las vulnerabilidades de inyección puntual
- Investigar a fondo a los socios de la cadena de suministro para garantizar el cumplimiento de las prácticas éticas y de seguridad
- Garantizar que los conjuntos de capacitación mantengan la integridad de los datos y no hayan sido manipulados o puestos en peligro trabajando únicamente con fuentes de confianza
- Auditar todos los sistemas utilizados para la IA
- Imponer limitaciones al intercambio de datos, especialmente de información privada y confidencial
- Implementar controles de acceso y seguridad de los datos de acuerdo con las mejores prácticas del sector
- Proteger el hardware y el software con parches actualizados, administración de vulnerabilidades y herramientas de seguridad de última generación (incluidas las herramientas basadas en IA/ML)
- Proporcionar capacitación contra adversarios para responder a las amenazas basadas en IA y mejorar la resistencia de los modelos
- Integrar la capacitación periódica para que el personal comprenda cómo detectar y evitar los riesgos derivados de las amenazas generadas por la IA
- Desarrollar un equipo de respuesta a incidentes para los problemas de seguridad detectados y optimizado para administrar los riesgos relacionados con la IA
Suscribirse al Blog de Jamf
Haz que las tendencias del mercado, las actualizaciones de Apple y las noticias de Jamf se envíen directamente a tu bandeja de entrada.
Para saber más sobre cómo recopilamos, usamos, compartimos, transferimos y almacenamos su información, consulte nuestra Política de privacidad.