Was sind die Sicherheitsrisiken von KI?

Was ist KI?

Künstliche Intelligenz, kurz KI, bezeichnet die Intelligenz von Software und Computern, um Probleme zu lösen und Entscheidungen zu treffen, indem sie die fortschrittlichen Datenverarbeitungsfähigkeiten von Datenverarbeitungsgeräten nutzen. Die Funktionen der KI sind der menschlichen Intelligenz nicht unähnlich, nur auf einem Niveau, das weit über die menschlichen Fähigkeiten hinausgeht.

Wie profitiert die Wirtschaft von KI?

Das Versprechen der KI, Geschäftsfunktionen zu revolutionieren, ist groß und nahezu unbegrenzt. Auch wenn das Ausmaß der Möglichkeiten noch nicht bekannt ist, so helfen doch einige der Möglichkeiten, die bereits jetzt zur Verfügung stehen, Branchen wie der Lieferkette, dem Gesundheitswesen und dem Finanzsektor - neben vielen anderen - bei der Entwicklung von Prozessen für die nahtlose Beförderung von Produkten von einem Ort zum anderen, bei der Verarbeitung von Gesundheitsdaten, um Muster und Anomalien in der Diagnose zu erkennen und eine bessere Behandlung zu ermöglichen, bei der intelligenteren Erkennung von Betrug und der Blockierung betrügerischer Transaktionen, um die Sicherheit von Finanzanlagen zu gewährleisten ... und das ist nur die Spitze des Eisbergs.

Einige Beispiele für KI

KI fungiert als Überbegriff, der verschiedene Varianten der Technologie umfasst, von denen jede einen Nutzen für Unternehmen und Gesellschaft bietet usw. Beispiele für die verschiedenen Arten von KI-Technologie sind:

Maschinelles Lernen (ML): Maschinen sind in der Lage, ihre eigenen Algorithmen oder Modelle zu entdecken, indem sie mit Daten gefüttert werden, um etwas über das Problem zu „lernen”, das sie zu lösen versuchen. Je mehr Datenpunkte sie auswerten, desto größer ist das Potenzial der Ergebnisse. Zu Beginn des Lernprozesses kann es erforderlich sein, dass Menschen die korrekten Ergebnisse auszeichnen, doch mit der Zeit wird das menschliche Element weniger notwendig sein, da immer genauere Ergebnisse erzielt werden.

Großes Sprachmodell (LLM): Basierend auf Deep Learning, einer breiteren Untergruppe von ML, sind LLMs vortrainiert und stützen sich auf neuronale Netze, die aus Dutzenden von Millionen von Parametern bestehen und große Datenmengen parallel verarbeiten. Unabhängig davon, ob sie im Modus des selbstüberwachten oder halbüberwachten Lernens arbeiten, besteht ihr Ziel darin, nicht nur Wissen zu erlangen, sondern auch kontextuelle Aspekte des Wissens zu erfassen, wie Syntax, Semantik und Ontologie, die sich auf den Menschen beziehen, z. B. die Art und Weise, wie wir denken und kommunizieren.

Generative KI: Eine Technologie, die in der Lage ist, Medien wie Text und Bilder als Reaktion auf Aufforderungen zu generieren, indem sie die Strukturen der eingegebenen Trainingsdaten lernt. Durch den Erhalt von Eingabedaten von Nutzer*innen und die Anwendung von ML-Techniken durch die Verarbeitung der Daten über neuronale Netze werden die daraus resultierenden Medien von der KI generiert und können in verschiedenen Apps eingesetzt werden, z. B. bei der Schaffung inspirierender Kunstwerke, der Entwicklung von Code für das Softwaredesign oder dem Verfassen von Dokumentationen, z. B. Artikeln und Berichten, komplett mit zitiertem Text - und vielem mehr.

Sicherheitsrisiken im Zusammenhang mit KI

Bei allem Gerede über die Vorteile für Unternehmen auf der ganzen Welt birgt die KI für jede Branche ein ebenso großes Risiko. Und während Cybersecurity-Risiken an sich nichts Neues sind, sind es die Auswirkungen, die KI derzeit auf das Risiko hat, und die Art und Weise, wie sich diese entwickeln werden, wenn KI weiterhin auf neuartige Weise in Unternehmen eindringt, schon.

Dies ist nicht nur eine Überzeugung einiger weniger oder die Handlung eines Blockbuster-Films, in dem beschrieben wird, wie der Aufstieg der KI zum Untergang der Menschheit führen wird. Tatsächlich sind sich die meisten Cybersicherheitsexpert*innen einig, dass KI nicht nur in einem Ausmaß und mit einer Geschwindigkeit als Waffe eingesetzt werden wird, die weit über das hinausgeht, was wir heute verstehen und wissen, sondern dass - Ironie des Schicksals - KI-gestützte Verteidigungsmaßnahmen für Unternehmen notwendig sein werden, „um diese fortschrittlichen Angriffe mit fortschrittlichen Taktiken zu bekämpfen, die die Bedrohung erkennen, interpretieren und auf sie reagieren, bevor sie eine Chance hat, Wirkung zu zeigen.”

Und was genau sind die KI-basierten Risiken, mit denen Unternehmen konfrontiert sind, um ihre Ressourcen zu schützen?

Dank OWASP und ihrem Projekt „Top 10 für große Sprachmodell-Apps” für das Jahr 2023, einem umfassenden Bericht, der „Entwickler*innen, Designer*innen, Architekt*innen, Manager*innen und Organisationen über die potenziellen Sicherheitsrisiken beim Einsatz und der Verwaltung von Large Language Models (LLMs) aufklären soll.” Das Angebot umfasst:

• Die kritischsten Schwachstellen mit Auswirkungen auf KI
  • Hervorhebung ihrer potenziellen Auswirkungen
  • Leichte Verwertbarkeit
  • Verbreitung in realen Apps

LLM01: Sofortige Injektion

Für diejenigen, die mit SQL-Injektion-Angriffen vertraut sind, stellen Prompt-Injektion-Schwachstellen in KI eine ähnliche Angriffsart dar. Die Eingaben sind so gestaltet, dass sie das Modell manipulieren und unbeabsichtigte Aktionen auslösen. Direkte Injektionen sind in der Lage, Systemantworten zu überschreiben, während indirekte Injektionsangriffe darauf abzielen, von externen Quellen erhaltene Eingaben zu manipulieren.

Und genau wie bei SQL-Injektionsangriffen umfassen die Sicherheitsstrategien zur Abschwächung dieser Schwachstelle sowohl die Implementierung von Eingabevalidierung als auch von Datenbereinigungsverfahren für vom Benutzer /von der Benutzerin bereitgestellte Daten. Darüber hinaus hilft die Formatierung der Ausgabekodierung, die Antworten zu filtern und die Anfälligkeit für Manipulationen an der Eingabeaufforderung weiter zu verringern.

LLM02: Unsichere Behandlung von Ausgaben

Angreifer*innen verwenden oft Fuzzing-Taktiken, um herauszufinden, wie sie Software am besten angreifen können. Durch die Untersuchung der Ausgabeantworten auf speziell gestaltete Eingaben können kritische Informationen aufgedeckt werden, die Bedrohungsakteur*innen einen Hinweis auf Schwachstellen geben, die zur Kompromittierung von Systemen ausgenutzt werden können. Wenn die LLM-Ausgabe nicht überprüft wird, kann das zugrunde liegende System durch SSRF-Schwachstellen (Server-side Request Forgery) gefährdet werden. Um diese und weitere Exploits zu minimieren, die eine effektive Umgehung der Zugriffskontrollen und einen unbefugten Zugriff auf sensible Daten ermöglichen könnten, ist eine Kombination aus Eingabevalidierung und -sanitisierung erforderlich, um die durch böswillige Anfragen ausgelösten Bedrohungen zu verringern. Darüber hinaus wird eine häufige Überprüfung der Prüfungsdaten empfohlen, um sicherzustellen, dass die Ressourcen vor KI geschützt bleiben.

LLM03: Vergiftung von Trainingsdaten

Wenn Trainingsdaten das Lebenselixier des Deep-Learning-Prozesses der KI sind, dann liegt es auf der Hand, dass die von der KI erzeugten Ergebnisse nur so gut sind wie ihre Eingaben. Dieser Grundsatz ist besonders wichtig, wenn man bedenkt, dass Schwachstellen eingeführt werden können, die die Sicherheit, Integrität und Wirksamkeit der Daten leicht gefährden können. Deshalb ist es für Unternehmen so wichtig, sicherzustellen, dass die Trainingsdaten aus vertrauenswürdigen Quellen stammen und ihre Integrität überprüft wird, um zu gewährleisten, dass die Trainingsdaten nicht vergiftet oder manipuliert wurden und keine Verzerrungen vorliegen, die das ethische Verhalten von KI-Systemen beeinflussen könnten.

LLM04: Modellierung von Denial-of-Service (DoS)

Im Gegensatz zu DoS-Angriffen auf Netzwerke sind LLMs ein wertvolles Ziel für Bedrohungsakteur*innen. Die ressourcenintensiven Vorgänge können bei Angriffen zu Serviceunterbrechungen und erhöhten Kosten führen, die durch die Abhängigkeit von KI-basierten Tools für alle Bereiche vom Geschäftsbetrieb bis hin zur Cybersicherheit nur noch weiter verkompliziert werden. In Verbindung mit der Varianz, die sich aus den Benutzereingaben ergibt, wächst die Anzahl der Variablen exponentiell. Auch wenn sie viel zu tun haben, sollten Sicherheitsexperten Ressourcenobergrenzen einführen, um übermäßige Anfragen zu begrenzen, die sonst die Ressourcen aufbrauchen würden. In Verbindung mit einer kontinuierlichen Überwachung der Ressourcennutzung und strikten Eingabebeschränkungen können Administrator*innen proaktiv vorgehen, um eine Erschöpfung der Ressourcen zu verhindern und den Benutzer*innen dennoch Zugang zu den KI-Tools zu gewähren.

LLM05: Lieferkette

2022 war ein Jahr, in dem es nicht nur eine, sondern mehrere aufsehenerregende Verletzungen der Lieferkette gab. Die Auswirkungen dieser Verstöße waren sogar so groß, dass Analysten für das Jahr 2023 prognostizierten, dass Angriffe auf die Lieferkette weiter zunehmen und sich ausbreiten werden, da Bedrohungsakteur*innen weiterhin dieses große, chancenreiche Ziel ins Visier nehmen. Laut OWASP können „Schwachstellen in der Versorgungskette von LLM den gesamten Lebenszyklus von Apps betreffen” - einschließlich aller Bibliotheken, containerisierten Instanzen, Bildern und Paketen. Dies gilt auch für Anbieter*innen von Cloud-Diensten, die möglicherweise Modelle hosten und/oder Dienste bereitstellen, die eine Schnittstelle zu Ihrem LLM bilden, wie z. B. Plugins (aber dazu später mehr, da sie ihre eigenen speziellen Schwachstellen haben, auf die wir eingehen). Der Schutz Ihrer KI-Modelle vor Bedrohungen in der Lieferkette erfordert einen mehrschichtigen Ansatz für Ihren Sicherheitsplan. Zunächst einmal ist eine gründliche Prüfung der Partner gleichbedeutend mit der Schaffung einer soliden Grundlage. Die regelmäßige Überprüfung der Quellen ist ein wichtiger Teil der Lösung, um zu gewährleisten, dass die Sicherheit eine Priorität bleibt. Die Implementierung von Best Practices zur Modell- und Codesignierung funktioniert am besten, wenn man nur mit vertrauenswürdigen Quellen zusammenarbeitet. Natürlich ist eine aktive Überwachung unabdingbar, um Schwachstellen, unzulässige Komponenten oder sogar Anomalien zu erkennen, die ein Risiko für die Sicherheit Ihrer LLMs darstellen könnten. Und schließlich ein aktuelles Inventar von Komponenten, die in Verbindung mit Machine Learning Operations (MLOps) verwendet werden, um sicherzustellen, dass die Modelle zuverlässig, effizient und sicher bereitgestellt und verwaltet werden.

LLM06: Offenlegung sensibler Informationen

Ein weiteres bekanntes Problem der Cybersicherheit, das einen exponentiell unbekannten Risikofaktor für die Datensicherheit darstellt, sind Datenlecks. Auch dies ist für die Sicherheitsbranche nichts Neues, aber die Auswirkungen von KI-basierten Risiken lassen sich nicht quantifizieren. Informationen, die mit der KI-Technologie geteilt werden, können (und haben) versehentlich vertrauliche Daten in Antworten an die Nutzer*innen preisgeben , wie es in drei jüngsten Fällen geschehen ist, in denen geschützte Daten von Samsung durchsickerten. ML-Apps lernen insbesondere aus allen Eingabedaten und können und werden sich beim Aufbau ihrer Datenbank auf diese Daten verlassen, um eine Abfrage zu lösen, was zu einem möglichen unbefugten Datenzugriff, zu Verstößen gegen die Compliance und/oder den Datenschutz und natürlich möglicherweise zu einer Datenschutzverletzung führen kann. Deshalb ist es wichtig, dass die Nutzer*innen die potenziellen Folgen ihrer Handlungen kennen und verstehen, indem sie eine Nutzerschulung durchführen, um sich bewusst zu machen, was nicht mit der KI geteilt werden sollte und warum dies nicht geschehen sollte. Darüber hinaus sind Unternehmen gut beraten, wenn sie die Benutzerschulung auf die Unternehmensrichtlinien abstimmen, um sichere Geschäftspraktiken zu unterstützen.

LLM07: Unsicheres Plugin-Design

Plugins und ihr Design stellen ein kritisches Risiko für die Daten dar, auf die KI zugreift und die sie generiert, und zwar aufgrund der Art und Weise, wie Plugins konzipiert sind. In vielen Fällen stützen sich LLM auf Plugins oder APIs, um direkt mit den von KI-Modellen erzeugten Eingabe- und Ausgabedaten zu arbeiten. Unsicher gestaltete Plugins können anfällig für böswillige Anfragen sein, die unter anderem zu Datenlecks, zur Offenlegung der zugrunde liegenden Systeme oder zur Remotecodeausführung führen können. Sie können auch zu Vergiftungsergebnissen führen, die dazu führen, dass das Modell eine Ausgabe erzeugt, die kompromittiert wurde oder sensible Systeminformationen liefert, die für die Ziele eines Angreifers/einer Angreiferin verwendet werden können. Als allgemeine Vorsichtsmaßnahme wird empfohlen, alle Eingabedaten als unsicher zu behandeln und daher neben expliziten Zugangskontrollen eine Eingabevalidierung (einschließlich parametrisierter Eingabeanforderungen) vorzunehmen, um das Risiko von Sicherheitsproblemen zu begrenzen. Außerdem sollten Plugins gründlich getestet werden, um den Code zu validieren, und sie sollten in jeder Phase der Entwicklungspipeline bewährte Verfahren zur Entwicklung von sicherem Code einhalten.

LLM08: Exzessives Handeln

Die Vorstellung und in gewissem Maße auch die Vermarktung von KI lässt an einen personalisierten Assistenten denken, der immer zur Verfügung steht, um die „schwere Arbeit” für uns zu erledigen, nicht unähnlich dem JARVIS-Protokoll, das von Tony Stark/Iron Man verwendet wird, um alles zu erledigen, von der Zusammenstellung von Wiedergabelisten bis hin zur Durchführung wissenschaftlicher Berechnungen im Handumdrehen, wenn ein unbekanntes Element identifiziert wird. Auch wenn KI bereits für autonome Leistungen wie selbstfahrende Autos eingesetzt wird, haben die dem Modell übertragenen Befugnisse (direkt) und die automatisierten Aktionen, die sich aus den von der KI verarbeiteten Daten ergeben und von Plugins oder Tools ausgeführt werden (indirekt), eines gemeinsam: Sie erfolgen ohne menschliche Eingaben oder Genehmigung. Dies allein ist eines der beängstigendsten Probleme, da LLMs oder die Plugins, die sich auf ihre Daten stützen, Funktionen ausführen können, die nicht notwendig oder sogar beabsichtigt sind, einfach aufgrund der ihnen erteilten Befugnisse oder "Berechtigungen" - selbst wenn die beabsichtigte Operation eine ist, von der Menschen nicht wollen, dass sie ausgeführt wird. Oder wie es im Entwurf des KI-Gesetzes der Europäischen Union heißt: „KI-Systeme sollten von Menschen und nicht von der Automatisierung überwacht werden, um schädliche Ergebnisse zu verhindern.”

Wie kann man diese Art von Risiko abmildern? Umsetzung eines risikobasierten Ansatzes. Ähnlich wie bei einem Null-Vertrauens-Modell sollte „LLMs nicht zugetraut werden, sich selbst zu kontrollieren oder einzuschränken.” Um dies zu erreichen, sollten Sie den Zugang zu Plugins und Tools auf die erforderlichen Funktionen beschränken. Vermeiden Sie außerdem Funktionen mit offenem Ende oder Funktionen, die einfach unnötig sind, um die Angriffsfläche zu vergrößern (letzteres), und verstärken Sie die Zugriffskontrollen, um nur mit den Daten zu interagieren oder die Aktionen auszuführen, die für den Abschluss des Prozesses erforderlich sind (ersteres).

LLM09: Übermäßiges Vertrauen

Wenn übermäßiges Handeln eine beängstigende Schwachstelle ist, dann ist übermäßiges Vertrauen eine ähnliche Schwachstelle, allerdings aus einer besorgniserregenderen Perspektive. Lassen Sie uns das erklären. Viele Nutzer*innen haben generative KI-Modelle wie ChatGPT gut angenommen, um Inhalte zu erstellen, z. B. Artikel zu schreiben, fesselnde Bilder einzufangen oder Videos zu erstellen, die hyperrealistisch sind und dennoch vollständig von KI erzeugt werden. Zwar ist die Fähigkeit, Medieninhalte zu erzeugen, an sich schon eine großartige Leistung, doch wie bei vielen Werkzeugen kommt es auf die Absicht des Nutzers/der Nutzerin an, ob es zum Aufbau oder zur Zerstörung eingesetzt wird. Das mag übertrieben klingen, aber das Risiko, dass Nutzer*innen sich auf KI-Inhalte verlassen, könnte katastrophale Folgen haben. Nehmen wir zum Beispiel die Fehlinformationen, die in einem technischen Dokument aufgrund einer Halluzination der KI erzeugt werden, und wie dies zu einer Reihe von Problemen führen kann, die wichtige Branchen wie das Gesundheitswesen und IT/IS betreffen. Oder wie einfach es ist, Audioaufnahmen von Personen zu erstellen, die irgendetwas sagen, wobei nur ein paar Sekunden an Soundbites benötigt werden, um ihre Stimme digital nachzubilden. Wie wäre es, wenn Sie diese Aufnahme ins Internet stellen würden? Je nach Inhalt der Worte könnte dies ausreichen, um den Ruf einer Person in der Öffentlichkeit zu ruinieren, oder aber die „gefälschte” Aufnahme könnte als Teil eines Verbrechens verwendet werden.

Einfach ausgedrückt: Wir wissen einfach nicht, wie tief der Kaninchenbau in Bezug auf die unsäglichen Folgen eines übermäßigen Verlassens auf KI geht. Aber es gibt Taktiken, die helfen können, zwischen dem, was real ist, und dem, was von LLMs erzeugt wird, zu unterscheiden. Beginnen wir mit dem Faktencheck der Ausgabe mit vertrauenswürdigen externen Quellen als zusätzliche Validierungsebene, um die Genauigkeit und Gültigkeit der generierten Inhalte zu bestimmen. Ähnlich wie bei der Plugin-Entwicklung hilft die Einführung und Einhaltung sicherer Programmierpraktiken, das Risiko der Einführung von Schwachstellen in die Entwicklungsumgebung zu minimieren. Zusätzlich zu den Validierungsmechanismen und der gegenseitigen Überprüfung von Informationen ist die klare und präzise Kommunikation von Risiken, bekannten Problemen und Einschränkungen im Zusammenhang mit der Nutzung von KI und KI-generierten Inhalten eine Grundvoraussetzung für die ethischen und transparenten Bemühungen zwischen den Ersteller*innen und Nutzer*innen von Inhalten - nicht unähnlich den FCC-Gesetzen, die die Wahrheit in der Werbung regeln.

LLM10: Modell Diebstahl

Diese Schwachstelle ist eine der einfachsten und bezieht sich auf den unbefugten Zugriff und die Exfiltration von Daten, in diesem Fall des LLM selbst, durch Bedrohungsakteur*innen. Dies ist nicht unähnlich den Bedrohungen durch Datenexfiltration, die es in der Cybersicherheit schon seit Jahren vor der KI gab. Dabei werden sensible, private und vertrauliche Daten gezielt von Geräten oder Netzwerken entfernt, um die Informationen weiterzugeben, geschützte Details zu stehlen oder als Teil von Spionagekampagnen. Der Diebstahl von KI-Modellen kann, wie jeder Diebstahl vertraulicher Daten, sowohl aus wirtschaftlicher Sicht als auch im Hinblick auf die Geschäftskontinuität sehr schwerwiegend sein. Der Verlust kann einen Einnahmeverlust oder einen Wettbewerbsvorteil für die unbefugte Nutzung des Modells darstellen, bis hin zur Verwendung als Teil eines feindlichen Angriffs gegen die Organisation, der das Modell gestohlen wurde. Der Schlüssel ist die Sicherung Ihres LLM durch mehrschichtige Sicherheitsstrategien, einschließlich starker Zugangskontrollen, Begrenzung des Zugangs zu Netzwerkressourcen durch Netzwerksegmentierung und sicheres Sandboxing, aktive Überwachung von Ressourcen sowie regelmäßige Prüfungen von Protokollen und Aktivitäten im Zusammenhang mit Ihrem LLM. Reaktion auf Vorfälle, die bei verdächtigem Verhalten gewarnt und eingesetzt werden, und um die Erkennung anormaler Verhaltensweisen abzuschwächen. Zusätzlich zu den Zugangskontrollen kann eine rasche Behebung anderer Schwachstellen, die bekanntermaßen LLMs betreffen (wie die in diesem Artikel beschriebenen), dazu beitragen, das Risiko zu verringern, dass böswillige Akteur*innen von einer anderen Bedrohung auf Ihr Modell überwechseln und es so kompromittieren.

Andere KI-basierte Sicherheitsrisiken

Unzureichendes Sandboxing

Das Sandboxing von Daten ist eine hervorragende Möglichkeit, sensible Prozesse vom Rest des Systems zu trennen. Auf diese Weise können Daten effektiv verarbeitet werden, während sie sicher vom zugrundeliegenden System isoliert laufen und auch für externe Bedrohungen unzugänglich sind oder Risiken außerhalb der Sandbox-Umgebung ausgesetzt werden. Da die KI noch relativ jung ist, gibt es eine Reihe von Problemen, die bei der Entwicklung einer allgemein akzeptierten oder regulierten Sandbox im Mittelpunkt stehen. Organisationen, die heute die Vorteile der KI-Technologie nutzen möchten, würden jedoch von einer Sandbox für KI-Modelle, -Tools und -Systeme profitieren, um das Experimentieren mit Produkten und Dienstleistungen auf sichere und ethische Weise zu fördern, die das Risiko minimiert und gleichzeitig Herausforderungen wie fehlende formale Sicherheitsvorkehrungen, unvorhersehbare Folgen oder mangelnde Lösungskonformität angeht.

KI-Fehlausrichtung

Der Begriff KI-Ausrichtung bezieht sich laut Wikipedia auf „Forschungsziele, die darauf abzielen, KI-Systeme auf die vom Menschen beabsichtigten Ziele, Präferenzen oder ethischen Grundsätze auszurichten”. Wenn ein KI-System trotz seiner Kompetenz nicht in der Lage ist, die angestrebten Ziele zu erreichen, gilt es als falsch ausgerichtet, und die fehlende Ausrichtung könnte zu unerwünschten Verhaltensweisen führen, einschließlich Handlungen und Fehlfunktionen, die Unternehmen weiter schaden und - schlimmer noch - Menschenleben beeinträchtigen könnten. Stellen Sie sich ein KI-System vor, das zur Codegenerierung für einen Webdienst eingesetzt wird. Während das Ziel des Entwicklers/der Entwicklerin darin besteht, einen komplexen, sicheren Code zu erstellen, der zu einem Dienst führt, der zur Vereinfachung computerbezogener Aufgaben verwendet werden kann, kann KI auch dazu missbraucht werden, leistungsstarken bösartigen Code zu generieren, der eine Bedrohung für den zuvor erwähnten Webdienst oder jeden anderen Webdienst darstellen kann. Deshalb ist es so wichtig, den Finger am digitalen Puls der KI zu haben, indem man herausfindet, was funktioniert, und verbessert, was nicht funktioniert, um die Modelle sicherer zu machen. Eine Schlüsselrolle im Angleichungsprozess spielt die menschliche Aufsicht. Es reicht nicht aus, ein Kästchen anzukreuzen, wenn die KI etwas richtig oder falsch macht, sondern es muss ein pragmatischer und wissenschaftlich fundierter Ansatz verfolgt werden, indem Probleme dokumentiert, kontinuierliche Schulungen durchgeführt, Rückmeldungen geprüft und Bewertungen von Systemen vorgenommen werden, und zwar auf transparente Weise.

Die wichtigsten Erkenntnisse:

• Entwicklung von Verfahren zur Validierung von Eingaben und zur Bereinigung von Ausgaben, um den Verlust sensibler Daten und Schwachstellen bei der Eingabe von Informationen zu vermeiden
• Gründliche Überprüfung der Partner in der Lieferkette, um die Einhaltung von Sicherheit und ethischen Praktiken zu gewährleisten
• Sicherstellen, dass die Datenintegrität der Trainingssätze gewahrt bleibt und nicht manipuliert oder beeinträchtigt wurde, indem nur mit vertrauenswürdigen Quellen gearbeitet wird
• Prüfung aller Systeme, die für KI verwendet werden
• Beschränkung der gemeinsamen Nutzung von Daten, insbesondere von privaten und vertraulichen Informationen
• Implementierung von Datensicherheits- und Zugangskontrollen nach bewährten Verfahren der Branche
• Absicherung von Hardware und Software mit aktuellen Patches, Schwachstellenmanagement und Sicherheitstools der nächsten Generation (einschließlich KI/ML-basierter Tools)
• Schulung von Gegner*innen, um auf KI-basierte Bedrohungen zu reagieren und die Widerstandsfähigkeit von Modellen zu verbessern
• Integration regelmäßiger Schulungen, damit die Mitarbeiter*innen wissen, wie sie Risiken, die von KI-Bedrohungen ausgehen, erkennen und vermeiden können
• Aufbau eines Reaktionsteams für erkannte Sicherheitsprobleme, das für den Umgang mit KI-bezogenen Risiken optimiert ist