Wat zijn de beveiligingsrisico’s van AI?

Wat is AI?

Artificial Intelligence, of kortweg AI, verwijst naar de intelligentie van software en computers om problemen op te lossen en beslissingen te nemen door gebruik te maken van de geavanceerde gegevensverwerkingskracht die mogelijk wordt gemaakt door computerapparatuur. AI-functies zijn niet anders dan menselijke intelligentie, alleen op niveaus die veel verder gaan dan menselijke mogelijkheden.

Wat zijn de voordelen van AI voor bedrijven?

De belofte van AI om een revolutie teweeg te brengen in bedrijfsfuncties is enorm en bijna oneindig. Hoewel de omvang van wat in staat is niet bekend is, helpen enkele van de mogelijkheden vanaf het begin sectoren zoals de toeleveringsketen, de gezondheidszorg en de financiële sector en vele andere sectoren. AI wordt ingezet bij het ontwikkelen van processen om producten naadloos van punt naar punt te krijgen tot het verwerken van volumes gezondheidsgegevens om patronen en anomalieën in de diagnose te identificeren en een betere behandeling te bieden. Daarnaast wordt het gebruikt om fraude intelligenter te detecteren en frauduleuze transacties te blokkeren om financiële activa veilig te houden ... En dat is nog maar het topje van de ijsberg.

Enkele voorbeelden van AI

AI fungeert als een overkoepelende term die variaties van de technologie omvat, die elk een voordeel bieden aan het bedrijfsleven en de samenleving. Voorbeelden van de verschillende soorten AI-technologie zijn:

Machine Learning (ML): Machines zijn in staat om hun eigen algoritmen of modellen te ontdekken door gegevens toe te voeren om te 'leren' over het probleem dat ze proberen op te lossen. Hoe meer gegevenspunten ze leren, hoe groter het potentieel van de resultaten. In eerste instantie kan het leerproces menselijke labelers vereisen om de juiste resultaten te identificeren, maar naarmate de tijd verstrijkt, zal het menselijke element minder nodig zijn naarmate nauwkeurigere resultaten worden geproduceerd.

Large Language Model (LLM): Op basis van deep learning, een bredere subset van ML, zijn LLM's vooraf getraind en vertrouwen ze op neurale netwerken die bestaan uit tientallen miljoenen parameters die grote hoeveelheden gegevens parallel verwerken. Of ze nu werken in zelf-gecontroleerde of semi-gecontroleerde leermodi, hun doel is niet alleen om kennis te verkrijgen, maar ook om contextuele facetten van kennis te belichamen, zoals syntaxis, semantiek en ontologie met betrekking tot mensen, zoals de manier waarop we denken en communiceren.

Generatieve AI: Een technologie die in staat is om media, zoals tekst en afbeeldingen, te genereren als reactie op aanwijzingen door de structuren van invoertrainingsgegevens te leren. Door invoergegevens van gebruikers te ontvangen en ML-technieken toe te passen door de gegevens via neurale netwerken te verwerken, worden de resulterende media gegenereerd door AI en kunnen ze worden gebruikt in meerdere toepassingen, zoals het maken van geïnspireerde kunstwerken, het ontwikkelen van code die wordt gebruikt bij het ontwerpen van software of het schrijven van documentatie, zoals artikelen en rapporten, compleet met geciteerde tekst – en nog veel meer.

Beveiligingsrisico's verbonden aan AI

Ondanks al het gepraat over voordelen voor organisaties over de hele wereld, vormt AI een gelijk en aanzienlijk risico voor elke sector. En hoewel cyberbeveiligingsrisico's op zich niets nieuws zijn, is de impact die AI momenteel heeft op risico's en hoe dat zal evolueren naarmate AI op nieuwe manieren bedrijven blijft binnendringen, dat zeker wel.

Dit is niet slechts een overtuiging van een paar mensen of het plot van een kaskrakerfilm waarin gedetailleerd wordt beschreven hoe de opkomst van AI zal leiden tot de ondergang van de mensheid. De algemene consensus onder de meerderheid van cyberbeveiligingsprofessionals is zelfs dat AI niet alleen op grote schaal en met grote snelheid als wapen zal worden ingezet, veel verder dan wat we vandaag de dag begrijpen en weten. Ironisch genoeg, zal op AI gebaseerde verdediging noodzakelijk zijn voor organisaties 'om deze geavanceerde aanvallen te bestrijden met geavanceerde tactieken die de bedreiging detecteren, interpreteren en erop reageren voordat deze de kans heeft om impact te hebben.'

En wat zijn precies de op AI gebaseerde risico's waarmee organisaties worden geconfronteerd om resources veilig te houden?

Met dank aan OWASP en hun 'Top 10 for Large Language Model Applications project for 2023', een uitgebreid rapport gewijd 'aan het onderwijzen van ontwikkelaars, ontwerpers, architecten, managers en organisaties over de potentiële beveiligingsrisico's bij het inzetten en beheren van Large Language Models (LLM's).' De lijst bevat:

• de meest kritieke kwetsbaarheden die van invloed zijn op AI
  • het benadrukken van hun potentiële impact
  • exploitatiegemak
  • prevalentie in echte toepassingen

LLM01: snelle injectie

Voor degenen die bekend zijn met SQL-injectieaanvallen, zijn prompt injection-kwetsbaarheden in AI een vergelijkbaar aanvalstype. Invoer is zo gemaakt dat het model wordt gemanipuleerd om onbedoelde acties te veroorzaken. Directe injecties zijn in staat om systeemreacties te overschrijven, terwijl indirecte injectieaanvallen proberen invoer te manipuleren die van externe bronnen worden ontvangen.

En net als SQL-injectieaanvallen omvatten beveiligingsstrategieën om dit beveiligingslek te beperken de implementatie van zowel invoervalidatie als gegevensopschoningspraktijken voor door de gebruiker verstrekte gegevens. Bovendien helpt het formatteren van uitvoercodering om reacties te filteren en tegelijkertijd de kwetsbaarheid van snelle manipulatie verder te verminderen.

LLM02: onveilige uitvoerverwerking

Aanvallers gebruiken vaak fuzzing-tactieken om te bepalen hoe ze software het beste kunnen aanvallen. Door de uitvoerreacties op speciaal vervaardigde invoer te onderzoeken, kan kritieke informatie worden blootgesteld die bedreigingsactoren een aanwijzing geeft over kwetsbaarheden die kunnen worden misbruikt om systemen te compromitteren. Wanneer LLM-uitvoer niet wordt onderzocht, kan blootstelling aan het onderliggende systeem optreden via SSRF-kwetsbaarheden (Server-side Request Forgery). Om dit en verdere exploits te minimaliseren die effectieve omzeiling van toegangscontroles en ongeautoriseerde toegang tot gevoelige gegevens mogelijk maken, is een combinatie van invoervalidatie en opschoning nodig om bedreigingen te beperken die worden geïnitieerd door kwaadaardige verzoeken. Daarnaast wordt aanbevolen om controlegegevens regelmatig te controleren om ervoor te zorgen dat resources beschermd blijven tegen AI.

LLM03: vergiftiging van trainingsgegevens

Als trainingsgegevens de levensader zijn van het deep learning-proces van AI, dan is het logisch dat door AI gegenereerde output slechts zo goed is als de input ervan. Dit voorschrift is vooral belangrijk als je bedenkt dat er kwetsbaarheden kunnen worden geïntroduceerd die gemakkelijk de beveiliging, integriteit en effectiviteit van gegevens in gevaar kunnen brengen. Daarom is het zo belangrijk voor organisaties om ervoor te zorgen dat trainingsgegevens worden verkregen van vertrouwde bronnen en dat de integriteit ervan wordt geverifieerd om ervoor te zorgen dat trainingsgegevens niet zijn vergiftigd of gemanipuleerd, noch dat er vooroordelen zijn geïntroduceerd die van invloed kunnen zijn op het ethische gedrag van AI-systemen.

LLM04: model denial of service (DoS)

In tegenstelling tot DoS-aanvallen op netwerken, vormen LLM's een waardevol doelwit voor bedreigingsactoren. De resource-zware operaties kunnen, wanneer ze worden aangevallen, leiden tot serviceonderbrekingen en hogere kosten die alleen maar verder worden gecompliceerd door de afhankelijkheid van op AI gebaseerde tools voor alles, van bedrijfsactiviteiten tot cyberbeveiliging. In combinatie met het niveau van variantie dat afkomstig is van gebruikersinvoer, groeit het aantal variabelen alleen exponentieel. Ondanks het feit dat hun werk voor hen is wegbezuinigd, moeten beveiligingsprofessionals resourcelimieten implementeren om buitensporige verzoeken te beperken die anders resources zouden uitputten. In combinatie met het continu bewaken van resourcegebruik en strikte invoerlimieten, kunnen beheerders een proactieve aanpak volgen om uitputting van resources te voorkomen en gebruikers toch toegang te bieden tot AI-tooling.

LLM05: toeleveringsketen

2022 was een jaar met niet één, maar meerdere spraakmakende inbreuken op de toeleveringsketen. Deze inbreuken waren zelfs zo impactvol dat de richtlijnen van analisten voor 2023 voorspelden dat aanvallen op toeleveringsketens zouden blijven groeien en zich zouden verspreiden naarmate bedreigingsactoren hun zinnen bleven zetten op dit grote, kansrijke doelwit. Volgens OWASP kunnen 'kwetsbaarheden in de toeleveringsketen in LLM de hele levenscyclus van applicaties beïnvloeden" - inclusief alles van bibliotheken, gecontaineriseerde instanties, afbeeldingen en pakketten. Dit strekt zich uit tot cloudserviceproviders die mogelijk modellen hosten en / of services leveren die communiceren met je LLM, zoals plug-ins (maar later meer over hen omdat ze hun eigen speciale kwetsbaarheden hebben die we aanraken). Het beschermen van je AI-modellen tegen bedreigingen van toeleveringsketens vereist een gelaagde aanpak van je beveiligingsplan. Om te beginnen komt het grondig doorlichten van partners neer op het opzetten van een solide basis. Het uitvoeren van regelmatige controles van bronnen is een belangrijk onderdeel van de oplossing om ervoor te zorgen dat beveiliging een prioriteit blijft. Het implementeren van best practices voor model- en codeondertekening werkt het beste in combinatie met alleen werken met vertrouwde bronnnen. Natuurlijk is actieve monitoring een must om kwetsbaarheden te detecteren, out-of-scope componenten die worden gebruikt wanneer ze dat niet zouden moeten zijn of zelfs om anomalieën te ontdekken die een risico kunnen vormen voor de beveiliging van je LLM's. Ten slotte een actuele voorraad van componenten die worden gebruikt in combinatie met Machine Learning Operations (MLOps) om ervoor te zorgen dat modellen betrouwbaar, efficiënt en veilig worden geïmplementeerd en beheerd.

LLM06: openbaarmaking van gevoelige informatie

Een ander bekend cybersecurity-probleem dat een exponentieel onbekende risicofactor voor gegevensbeveiliging vormt, is gegevenslekken. Hoewel ook dit niets nieuws is voor de beveiligingssector, kunnen de gevolgen van op AI gebaseerde risico's niet worden gekwantificeerd. Informatie die wordt gedeeld met AI-technologie kan (en heeft) onbedoeld vertrouwelijke gegevens onthuld in reacties op gebruikers, zoals het deed in drie recente kwesties van het lekken van bedrijfseigen gegevens van Samsung. ML-applicaties leren vooral van alle invoergegevens en kunnen en zullen bij het opbouwen van hun database op deze gegevens vertrouwen om een query op te lossen, wat leidt tot mogelijke ongeoorloofde toegang tot gegevens, compliance en / of privacyschendingen en natuurlijk mogelijk leiden tot een datalek. Daarom is het van cruciaal belang voor gebruikers om de mogelijke gevolgen van hun acties te kennen en te begrijpen door gebruikerstraining te implementeren om bewustzijn te creëren van wat niet met AI moet worden gedeeld en waarom het niet moet worden gedeeld. Bovendien zijn organisaties goed gediend door gebruikerstraining af te stemmen op het organisatiebeleid om veilige bedrijfspraktijken verder te ondersteunen.

LLM07: onveilig plug-inontwerp

Aangestipt als onderdeel van de kwetsbaarheden in de toeleveringsketen, vormen plug-ins en hun ontwerp een kritisch risico voor de gegevens die worden geopend en gegenereerd door AI vanwege de pure aard van hoe plug-ins zijn ontworpen om te werken. In veel gevallen vertrouwen LLM's op plug-ins of API's om rechtstreeks te werken met invoergegevens en uitvoergegevens die zijn gegenereerd door AI-modellen. Onveilig ontworpen plug-ins kunnen gevoelig zijn voor kwaadaardige verzoeken die kunnen leiden tot, maar niet beperkt zijn tot, gegevenslekken, blootstelling van onderliggende systemen of uitvoering van externe code. Ze kunnen ook leiden tot vergiftigingsresultaten, waardoor het model uitvoer genereert die is aangetast of gevoelige systeeminformatie biedt die kan worden gebruikt om het doel van een aanvaller te bevorderen. Als algemene voorzorgsmaatregel wordt geadviseerd om alle invoergegevens als onveilig te behandelen en daarom wordt invoervalidatie (inclusief geparametriseerde invoervereisten) aanbevolen naast expliciete toegangscontroles om het risico op beveiligingsproblemen te beperken. Bovendien moeten plug-ins grondig worden getest om code te valideren en moeten ze voldoen aan best practices voor het ontwikkelen van veilige code in elke fase van de ontwikkelingspijplijn.

LLM08: buitensporige keuzevrijheid

De visie en tot op zekere hoogte de marketing van AI, kondigt gedachten aan van een gepersonaliseerde assistent die altijd beschikbaar is om het 'zware werk' voor ons uit te voeren, niet anders dan het JARVIS-protocol dat door Tony Stark / Iron Man wordt gebruikt om alles af te handelen, van het samenstellen van afspeellijsten tot het uitvoeren van wetenschappelijke berekeningen bij het identificeren van een onbekend element. En hoewel AI zeker is aangeboord om autonome prestaties uit te voeren, zoals zelfrijdende auto's, het bureau dat aan het model is toegekend (direct) of de geautomatiseerde acties die voortvloeien uit de gegevens die AI heeft verwerkt en worden uitgevoerd door plug-ins of tools (indirect), hebben ze allemaal een gemeenschappelijke eigenschap: ze vinden plaats zonder menselijke input of autorisatie. Dit alleen al vormt een van de meer angstaanjagende zorgen, omdat LLM's of de plug-ins die afhankelijk zijn van hun gegevens functies kunnen uitvoeren die niet nodig zijn of zelfs bedoeld zijn om uit te voeren, simpelweg vanwege het bureau of de 'machtigingen' die aan hen zijn gegeven – zelfs als de beoogde bewerking er een is die mensen niet zouden willen worden uitgevoerd. De EU wil AI reguleren om betere voorwaarden te scheppen voor de ontwikkeling en het gebruik van deze innovatieve technologie : 'AI-systemen moeten worden gecontroleerd door mensen, in plaats van door automatisering, om schadelijke resultaten te voorkomen.'

Hoe ga je te werk om dit risicotype te beperken? Het implementeren van een risicogebaseerde aanpak. Vergelijkbaar met een Zero Trust-model, 'LLM's mogen niet worden vertrouwd om zichzelf te controleren of zichzelf te beperken.' Om dit te bereiken, moet je de toegang tot plug-ins en tools beperken tot alleen de vereiste functies. Vermijd ook open functies of functies die eenvoudigweg niet nodig zijn om het aanvalsoppervlak te verharden (laatstgenoemde), terwijl je toegangscontroles versterkt om alleen met de gegevens te communiceren of de acties uit te voeren die nodig zijn om het proces te voltooien (eerstgenoemde).

LLM09: overdreven afhankelijkheid

Als overmatige keuzevrijheid een angstaanjagende kwetsbaarheid is, dan is overdreven afhankelijkheid er verwant aan, maar vanuit een zorgwekkender perspectief. Laten we het uitleggen. Veel gebruikers hebben vrij goed gebruik gemaakt van generatieve AI-modellen, zoals ChatGPT, onder andere, om content te maken zoals het schrijven van artikelen, het vastleggen van boeiende beelden of het samenvoegen van videocontent die hyperrealistisch is, en toch wordt alles volledig geproduceerd door AI. Hoewel in het begin de mogelijkheid om mediacontent te genereren een kapitale prestatie op zich is, zoals met veel tools, is de intentie van de gebruiker wat bepaalt of het wordt gebruikt om te bouwen of om te vernietigen. Dit lijkt misschien overdramatisering, maar het risico dat gebruikers vertrouwen op AI-content als evangelie van de waarheid kan desastreuze gevolgen hebben. Neem bijvoorbeeld de desinformatie die wordt gegenereerd in een technisch artikel als gevolg van een hallucinatie door de AI en hoe dat kan leiden tot een aantal problemen die van invloed zijn op grote sectoren, zoals de gezondheidszorg en IT. Of hoe relatief eenvoudig het is om audio-opnames te maken van mensen die iets zeggen met slechts een paar seconden aan soundbites die nodig zijn om hun stem digitaal na te bootsen. Hoe zit het nu met het nemen van die opname en het online uitzenden? Afhankelijk van de content van de woorden, kan het voldoende zijn om iemands publieke reputatie te ruïneren of in plaats daarvan kan de ' vervalste' opname worden gebruikt als onderdeel van een misdrijf.

Simpel gezegd: we weten gewoon niet hoe ver het gaat in relatie tot de onnoemelijke gevolgen van te veel vertrouwen op AI. Maar er zijn tactieken die kunnen helpen onderscheid te maken tussen wat echt is en wat wordt gegenereerd door LLM's. Laten we beginnen met het controleren van de uitvoer met vertrouwde externe bronnen als een extra validatielaag om de nauwkeurigheid en validiteit van gegenereerde content te bepalen. Net als bij de ontwikkeling van plug-ins, helpt het vaststellen en naleven van veilige coderingspraktijken om het risico van het introduceren van kwetsbaarheden in de ontwikkelomgeving te minimaliseren. Naast de validatiemechanismen en kruisverificatie van informatie, is het duidelijk en beknopt communiceren van risico's, bekende problemen en beperkingen in verband met het gebruik van AI en door AI gegenereerde content van belang voor ethische en transparantie-inspanningen tussen makers van content en gebruikers ervan.

LLM10: modeldiefstal

Deze kwetsbaarheid is een van de meest eenvoudige, verwijzend naar de ongeoorloofde toegang en exfiltratie van gegevens, in dit geval de LLM zelf door bedreigingsactoren. Het is niet anders dan de bedreigingen van data-exfiltratie in cyberbeveiliging die we al jaren vóór AI zagen, waarbij gevoelige, privé- en vertrouwelijke gegevens worden gericht op en verwijderd van apparaten of netwerken met het uitdrukkelijke doel om de informatie te lekken, eigendomsgegevens te stelen of als onderdeel van spionagecampagnes. Diefstal van AI-modellen kan, net als elk stuk vertrouwelijke gegevens dat wordt gestolen, variëren in ernst, zowel vanuit economisch oogpunt als vanuit het oogpunt van bedrijfscontinuïteit. Het verlies kan een verlies van inkomsten of concurrentievoordeel betekenen voor onbevoegd gebruik van het model tot en met het gebruik ervan als onderdeel van een aanval tegen de organisatie waarvan het model is gestolen. De sleutel is om je LLM te beveiligen met behulp van gelaagde beveiligingsstrategieën, waaronder sterke toegangscontroles, het beperken van de toegang tot netwerkbronnen door netwerksegmentatie en veilige sandboxing, actieve monitoring van resources, evenals het regelmatig uitvoeren van audits van logboeken en activiteiten die zijn gekoppeld aan je LLM. Incidentrespons wordt gewaarschuwd en ingezet na waarschuwingen van verdacht gedrag en om de detectie van afwijkend gedrag te beperken. Naast toegangscontroles kan een snelle beperking van andere kwetsbaarheden waarvan bekend is dat ze van invloed zijn op LLM's (zoals die in dit artikel) helpen het risico te verminderen dat kwaadwillende actoren draaien of lateraal bewegen van een andere bedreiging om je model te compromitteren.

Andere op AI gebaseerde beveiligingsrisico's

Onvoldoende sandboxing

Sandboxing-gegevens zijn een uitstekende manier om gevoelige processen te segmenteren van de rest van een systeem. Hierdoor kunnen gegevens effectief worden verwerkt terwijl ze veilig geïsoleerd van het onderliggende systeem worden uitgevoerd, inclusief ontoegankelijk zijn voor externe bedreigingen of worden blootgesteld aan risico's buiten de sandbox-omgeving. Omdat AI relatief nieuw is, staan een aantal zaken centraal bij het ontwerpen van een universeel geaccepteerde of gereguleerde sandbox. Organisaties die vandaag de dag willen profiteren van AI-technologie, zouden echter baat hebben bij het sandboxen van AI-modellen, -tools en -systemen om experimenten met producten en diensten op een veilige en ethische manier te bevorderen die risico's minimaliseert en tegelijkertijd uitdagingen aanpakt, zoals een gebrek aan formele waarborgen, onvoorziene gevolgen of een gebrek aan betrouwbaarheid tussen oplossingen.

Verkeerd afgestemde AI

De term AI alignment verwijst naar "onderzoek heeft tot doel AI-systemen te sturen in de richting van de beoogde doelen, voorkeuren of ethische principes van mensen", aldus Wikipedia. Als een AI-systeem ondanks zijn competentie de beoogde doelen niet kan bereiken, wordt het beschouwd als verkeerd afgestemd en kan het gebrek aan afstemming leiden tot ongewenst gedrag, inclusief acties en storingen die bedrijven verder kunnen schaden en erger nog, het menselijk leven kunnen beïnvloeden. Denk even aan een AI-systeem dat wordt gebruikt om code voor een webservice te genereren. Hoewel het doel van de ontwikkelaar is om complexe, veilige code te maken die zal resulteren in een service die kan worden gebruikt om computergerelateerde taken te vereenvoudigen, kan AI ook worden ondermijnd om krachtige kwaadaardige code te genereren die een bedreiging kan vormen voor de eerder genoemde webservice of welke webservice dan ook. Daarom is het van cruciaal belang om de vinger aan de digitale pols van AI te houden door te identificeren wat werkt en te verfijnen wat niet werkt om modellen veiliger te maken om te gebruiken. Een sleutelrol in het afstemmingsproces is menselijk toezicht. Niet alleen een vakje afvinken wanneer AI iets goed of fout krijgt, maar een meer pragmatische en wetenschappelijk onderbouwde aanpak door problemen te documenteren, continue training uit te voeren, feedback te beoordelen, evaluaties van systemen uit te voeren en dit op een transparante manier te doen, zijn slechts enkele van de belangrijkste technieken om een betere afstemming te bereiken.

Belangrijkste leerpunten:

• Ontwikkel procedures voor invoervalidatie en opschoning van uitvoer om gevoelige gegevenslekken te verminderen en kwetsbaarheden voor snelle injectie te veroorzaken
• Controleer de partners in de toeleveringsketen grondig om compliance van beveiligings- en ethische praktijken te garanderen
• Zorg ervoor dat trainingssets de gegevensintegriteit behouden en dat er niet mee is geknoeid of gecompromitteerd door alleen met vertrouwde bronnen te werken
• Controleer alle systemen die worden gebruikt voor AI
• Leg beperkingen op aan het delen van gegevens, met name privé- en vertrouwelijke informatie
• Implementeer gegevensbeveiliging en toegangscontroles volgens de best practices in de sector
• Scherm hardware en software af met up-to-date patches, kwetsbaarhedenbeheer en beveiligingstools van de volgende generatie (inclusief AI/ML-gebaseerde tooling)
• Bied adversarial training om te reageren op AI-gebaseerde bedreigingen en de veerkracht van modellen te verbeteren
• Integreer regelmatige training, zodat medewerkers begrijpen hoe ze risico's als gevolg van door AI gegenereerde bedreigingen kunnen detecteren en vermijden
• Ontwikkel een incidentresponsteam voor gedetecteerde beveiligingsproblemen en optimaliseer voor het afhandelen van AI-gerelateerde risico's