Adversariale aanvallen: hoe een paar onzichtbare pixels of één omgewisseld woord een AI kan misleiden

fundamenten
efficiëntie
Adversariale voorbeelden benutten de wiskundige grenzen die een model trekt om beslissingen te nemen. Hier zien deze aanvallen er daadwerkelijk uit in afbeeldingen en tekst — en de concrete verdedigingen die elk adresseren.
Auteur

Jan Scholtes

Publicatiedatum

29 augustus 2026

Een afbeelding van een panda, correct geclassificeerd door een neuraal netwerk met 57% zekerheid, krijgt een kleine hoeveelheid zorgvuldig berekend ruis toegevoegd — onzichtbaar voor het menselijk oog, de afbeelding ziet er nog precies uit als een panda — en hetzelfde netwerk classificeert het nu als een gibbon met meer dan 99% zekerheid. Dit is geen hypothetisch scenario; het is een van de grondleggende demonstraties van wat een adversarial attack wordt genoemd, en de onderliggende kwetsbaarheid blijkt tekstmodellen net zo goed te treffen als beeldmodellen, als je weet waar je moet duwen. Dit artikel behandelt hoe deze aanvallen er daadwerkelijk uitzien in beide domeinen, en wat werkelijk werkt als verdediging — voortbouwend op het eerdere artikel over modelcompressie, dat deel van het antwoord blijkt te zijn, maar lang niet alles.

Waarom dit überhaupt mogelijk is

Elk getraind model trekt een beslissingsgrens door een extreem hoog-dimensionale ruimte, die “panda” scheidt van “gibbon,” of “positieve recensie” van “negatieve recensie.” Die grens wordt geleerd uit data en wordt gevormd door welke correlaties er toevallig bestaan in de trainingsset — niet noodzakelijk door dezelfde kenmerken die een mens zou gebruiken om hetzelfde onderscheid te maken. Een adversarial attack werkt door het kortste mogelijke pad over die grens te vinden: een kleine, bewust berekende verstoring van de invoer die die net voorbij de andere kant duwt, zonder iets te veranderen wat een mens zou opmerken. De kwetsbaarheid is geen bug in één bepaald model — het is een structureel gevolg van hoe deze beslissingsgrenzen in de eerste plaats worden geleerd, wat verklaart waarom het probleem opduikt in verschillende modeltypes en domeinen.

Adversariale aanvallen op afbeeldingen

Gradient-gebaseerde perturbatieaanvallen. De klassieke aanpak — de Fast Gradient Sign Method en zijn meer iteratieve opvolger, Projected Gradient Descent — berekent de gradient van het verlies van het model ten opzichte van de invoerpixels in plaats van de gewichten van het model, en stuurt elke pixel een kleine hoeveelheid in de richting die het verlies het snelst verhoogt (d.w.z. het model het meest fout maakt). Omdat de verstoring over de hele afbeelding is verspreid en binnen een kleine grens blijft, is het onwaarneembaar voor een menselijke toeschouwer terwijl het precies is afgesteld om de beslissingsgrens van het model te overschrijden.

Patch-aanvallen. In plaats van een hele afbeelding subtiel te verstoren, plaatst een patch-aanval één kleine, goed zichtbare, vaak vreemd uitziende sticker of regio ergens in het beeld — op een stopbord, op een kledingstuk, in de hoek van een foto — die betrouwbaar een gerichte misclassificatie veroorzaakt, ongeacht al het andere in de afbeelding. In tegenstelling tot gradient-gebaseerde verstoringen zijn deze vaak robuust tegen gefotografeerd worden vanuit verschillende hoeken en afstanden, wat ze tot een praktisch probleem maakt in de fysieke wereld (een gewijzigd stopbord dat een zelfrijdend systeem leest als een snelheidsbord) in plaats van alleen een digitale curiositeit.

Black-box en transfer-aanvallen. Beide aanvalsfamilies hierboven gaan ervan uit dat de aanvaller toegang heeft tot de interne werking van het model om gradients te berekenen. In de praktijk hebben veel echte aanvallen dat niet nodig: adversariale voorbeelden gemaakt tegen één model transferren regelmatig en misleiden een ander model getraind op vergelijkbare data, zelfs zonder toegang tot de gewichten van dat tweede model. Dit is wat de dreiging praktisch maakt in plaats van puur academisch — een aanvaller hoeft je exacte model niet te stelen om het aan te vallen.

Adversariale aanvallen op tekst

Tekst is discreet — je kunt een woord niet met 0,1% aanpassen zoals je de helderheid van een pixel kunt aanpassen — dus text-based adversarial attacks zien er structureel anders uit, maar het onderliggende doel is identiek: verander de invoer zo weinig en zo onopvallend mogelijk terwijl de uitvoer van het model wordt omgekeerd.

Verstoringen op tekenniveau. Het verwisselen van visueel vergelijkbare tekens, het invoegen of verwijderen van een teken, of het introduceren van veelvoorkomende typefouten kan de uitvoer van een classifier omgooien terwijl het perfect leesbaar blijft voor een mens — “excellent” wordt “excel1ent” of “exceellent,” en het vertrouwen van een sentimentclassifier stort in hoewel geen redelijke lezer het woord verkeerd zou lezen.

Word-level substitutieaanvallen. Een geavanceerdere familie van aanvallen vervangt afzonderlijke woorden door nauwe synoniemen — specifiek gekozen om de werkelijke betekenis van de zin voor een menselijke lezer te bewaren, terwijl die net genoeg verschuift in de embedding-ruimte van het model om een beslissingsgrens te overschrijden. Omdat de vervanging semantisch getrouw is, zijn deze moeilijker te onderscheppen met een eenvoudig spellingfilter.

Universal adversarial triggers. In plaats van voor elke individuele invoer een maatwerk-verstoring te maken, ontdekken sommige aanvallen een korte reeks woorden of tokens die, wanneer toegevoegd aan bijna elke invoer, het model betrouwbaar naar een specifieke verkeerde uitvoer duwt — een soort herbruikbare “skeletsleutel” voor een bepaald model, in plaats van een eenmalige aanval op één zin.

Prompt injection (de LLM-specifieke variant). In agentische systemen is een toenemend relevante variant prompt injection: tekst ingebed in een document, webpagina of tool-uitvoer die een taalmodel leest als onderdeel van zijn context — niet iets wat de eigenlijke gebruiker heeft getypt — maar die is opgesteld om te lijken op een instructie die het model moet opvolgen. Dit is structureel dezelfde onderliggende kwetsbaarheid als klassieke adversariale tekstaaanvallen (een zorgvuldig gekozen invoer duwt het model ergens heen waar het niet zou moeten zijn), toegepast op de specifieke zwakte van een systeem dat niet altijd onderscheid kan maken tussen “data die ik lees” en “instructies die ik moet opvolgen.”

Wat werkelijk werkt als verdediging

Geen enkele techniek lost dit volledig op, wat verklaart waarom echte implementaties er meerdere combineren:

Adversarial training. De meest directe verdediging: bewust adversariale voorbeelden genereren tijdens training en deze in de trainingsset opnemen, zodat het model een beslissingsgrens leert die niet zo gemakkelijk te overschrijden is door kleine verstoringen. Dit kan worden uitgebreid met bredere data-augmentatie — willekeurig ruis, handgemaakte negaties, synonymvervanging en algemene diversiteit van de trainingsset — zodat het model niet overfit aan een smal, kwetsbaar begrip van hoe “normale” invoer eruitziet.

Defensive distillation en feature squeezing. Een kleinere studentmodel trainen op de softened uitvoerdistributie van een docent heeft de neiging een vloeiendere, minder strak gevouwen beslissingsgrens te produceren die moeilijker te benutten is met een kleine, precies berekende druk. Feature squeezing werkt op een verwante maar directere manier: het reduceert de vrijheidsgraden van de invoer voordat het model die ooit ziet — voor afbeeldingen kan dit betekenen dat de kleurdiepte wordt verlaagd of milde afvlakking wordt toegepast; voor tekst, het normaliseren van spellingvarianten en tekenvervangingen vóór classificatie — specifiek om de fijnmazige ruimte in te krimpen die een aanvaller nodig heeft.

Invoertransformaties en randomisatie. Technieken zoals lichte beeldcompressie, bijsnijden of aanpassen van de grootte vóór classificatie kunnen de zeer precieze pixelberekeningen verstoren waarvan een adversariale verstoring afhankelijk is, zonder een echte afbeelding zinvol te beïnvloeden. Aan de tekstkant dient spelling-normalisatie een vergelijkbaar doel tegen aanvallen op tekenniveau.

Ensembles. Dezelfde invoer door meerdere onafhankelijk getrainde modellen sturen en overeenstemming vereisen (of gebrek daaraan markeren) verhoogt de drempel voor een aanvaller aanzienlijk, omdat een verstoring gemaakt om één specifiek model te misleiden vaak niet schoon transfert naar een anders getraind model met een andere grens.

Detectie in plaats van pure preventie. In plaats van te proberen een model onvoorwaardelijk robuust te maken voor elke mogelijke verstoring, kan een aparte detectielaag invoer markeren die statistisch ongewoon lijkt — eigenaardige hoog-frequente ruispatronen in een afbeelding, ongewone tekstreeksen — en deze doorsturen voor aanvullend onderzoek voordat ze ooit een beslissing bereiken.

Voor agentische systemen specifiek: invoerbewaking en deterministische guardrails. Omdat prompt injection de grens tussen “data” en “instructies” benut, is de meest effectieve verdediging niet het taalmodel vragen om zichzelf te bewaken — het is het routeren van niet-vertrouwde invoer (documenten, webinhoud, tool-uitvoer) door een aparte, deterministische controle vóór die de hoofd-redeneermotor bereikt, en alles wat eruitziet als een ingebedde instructie standaard als verdacht behandelen in plaats van als een legitiem commando.

De rode draad

Elke verdediging doet eigenlijk hetzelfde: de beslissingsgrens van het model soepeler maken, minder gevoelig voor kleine of nauwkeurig gerichte veranderingen, en minder vertrouwend op een enkel niet-geverifieerd signaal. Geen van hen maakt een model perfect onbreekbaar — dit blijft een genuanceerd actieve wapenwedloop tussen aanvals- en verdedigingsonderzoek, op zowel afbeeldingen als tekst — maar het combineren van meerdere van deze technieken (adversariale training plus distillation plus invoernormalisatie plus detectie) verhoogt de kosten en moeilijkheid van een succesvolle aanval zinvol, wat in de meeste echte implementaties precies het praktische doel is.

Kernpublicaties

  • Goodfellow et al. (2014), Explaining and Harnessing Adversarial Examples (FGSM) — arXiv:1412.6572
  • Madry et al. (2017), Towards Deep Learning Models Resistant to Adversarial Attacks (PGD) — arXiv:1706.06083
  • Wallace et al. (2019), Universal Adversarial Triggers for Attacking and Analyzing NLP — arXiv:1908.07125

Verder lezen op deze site