De gigant inkrimpen: hoe pruning, quantization en distillation LLM’s klein, goedkoop en veiliger maken

fundamenten
efficiëntie
Het trainen van een custom GPT-4-klasse model kost tegenwoordig een geschat 2-3 miljoen dollar aan rekenkracht. Zo nemen pruning, quantization en distillation diezelfde capaciteit en zetten die op hardware die je zelf bezit — terwijl ze tegelijkertijd een hele klasse aanvallen buitensluiten.
Auteur

Jan Scholtes

Publicatiedatum

28 november 2026

Het trainen van GPT-2 kostte naar schatting 100-200 duizend dollar aan rekenkracht. GPT-3 sprong naar ergens in de 1-10 miljoen range. GPT-4-klasse trainingsruns worden geschat op 10-100 miljoen. Een custom GPT-4-klasse model kost vandaag naar schatting 2-3 miljoen dollar alleen al voor de trainingsrekenkracht — en dat is voordat je het ergens hebt geïmplementeerd, laat staan ergens met een batterij. Als je bouwt voor een geïmplanteerd medisch apparaat, een smartwatch, of elk systeem waarbij stroombudget een harde beperking is (zoals één college hierover het bot formuleert: “the US Army runs on batteries”), is dat formaat model simpelweg het verkeerde gereedschap. Dit artikel behandelt de drie hoofdtechnieken — pruning, quantization en knowledge distillation — die je in staat stellen een grote, duur getraind model te comprimeren tot iets dat draait op hardware die je werkelijk bezit, met slechts een klein, meestal acceptabel capaciteitsverlies. En, als bonus die de meeste mensen niet verwachten, maken diezelfde technieken een model aantoonbaar moeilijker aanvalbaar.

Waarom dit verder gaat dan kosten

Drie afzonderlijke motivaties convergeren op dezelfde set technieken:

  1. Energie en batterijduur. On-device en edge-implementatie — geïmplanteerde medische apparaten, mobiele telefoons, militaire hardware — kan simpelweg geen full-size frontiermodel draaien. Elke watt telt.
  2. Lokale, soevereine implementatie. Zoals eerder op deze site behandeld, kan een gespecialiseerd model fine-tuned op jouw eigen data en draaiend op jouw eigen hardware opmerkelijk dicht bij frontier-modelprestaties komen voor een specifieke taak — maar alleen als dat gespecialiseerde model daadwerkelijk klein genoeg is om lokaal te draaien tegen redelijke kosten. Compressie is wat dat “David versus Goliath”-verhaal fysiek mogelijk maakt.
  3. Beveiliging. Enigszins contra-intuïtief kan een kleiner, gedistilleerd of gepruned model robuuster zijn voor bepaalde aanvallen, omdat compressie precies het soort redundante, ongebruikte verbindingen verwijdert die adversarial attacks de neiging hebben te benutten.

Laten we de drie hoofdtechnieken één voor één doorlopen.

1. Knowledge distillation: een klein model leren een groot te imiteren

Knowledge distillation comprimeert en draagt wat een groot, duur “teacher”-model heeft geleerd over naar een kleiner “student”-model, terwijl het probeert zoveel mogelijk van de competentie van de teacher te bewaren. Het canonieke voorbeeld is DistilBERT (Sanh, Debut, Chaumond & Wolf, 2019): door BERT-base te destilleren tijdens pre-training reduceerden de auteurs de modelomvang met 40%, lieten het 60% sneller draaien, terwijl ze 97% van BERT’s taalbegripprestaties op de GLUE-benchmark behielden.

De trainingsmechanica is het begrijpen waard, omdat die verklaart waarom dit zo goed werkt. In plaats van de student puur te trainen om het correcte label te voorspellen, traint distillation het op een gecombineerd verlies:

total loss = (alpha * student loss) + ((1 - alpha) * distillation loss)

Het distillation loss wordt berekend met KL-divergentie tussen de softmax-uitvoer van de teacher en de student — maar cruciaal, met een verzachte temperatuur (t > 1) zodat de uitvoer niet alleen harde 0/1-labels zijn maar “zachte labels” die het relatieve vertrouwen van de teacher over alle klassen dragen, niet alleen de winnende. Dat zachte signaal is waar de meeste nuttige informatie daadwerkelijk in zit: het vertelt de student niet alleen wat het juiste antwoord is, maar hoe de teacher de alternatieven weegt — een impliciet signaal dat een hard label alleen nooit kan dragen. DistilBERT combineert dit distillation loss specifiek met een masked-language-modeling loss en een cosinus-embedding loss (om de richting van de verborgen vectoren van teacher en student te aligneren), en initialiseert de student door elke andere laag direct van de teacher te nemen in plaats van helemaal opnieuw te beginnen.

Andere bekende voorbeelden in dezelfde familie zijn TinyBERT, dat distillation verder doorvoert voor nog kleinere footprints. Dit is een bijzonder actief onderzoeksgebied — zie de Nature-berichtgeving over lopend modelcompressiewerk voor een idee van hoe snel het veld zich nog steeds beweegt.

2. Quantization: minder bits, bijna hetzelfde antwoord

Een standaard neuraal netwerk slaat zijn gewichten op als 32-bit floating point-getallen. Quantization stelt een eenvoudige vraag: heb je werkelijk alle 32 bits nodig? Vaak niet. Gewichten weergeven met 8-bit integers in plaats van 32-bit floats geeft je een model met een kwart van de geheugenvoetafdruk, met vier keer snellere gegevensoverdracht, en berekeningen die ook dramatisch sneller zijn, met name voor integer-rekenkunde. Afhankelijk van de hardware kan dit alleen al snelheidswinsten opleveren in het bereik van 25% tot 250%.

Er zijn twee hoofdvarianten:

  • Post-Training Quantization (PTQ) — neem een al getraind model en kwantiseer daarna de gewichten.
  • Quantization-Aware Training (QAT) — train het model terwijl de effecten van quantization worden gesimuleerd, zodat het leert robuust te zijn voor de verminderde precisie vanaf het begin.

Het meest opvallende recente voorbeeld van QAT tot zijn logische uiterste doorgevoerd is BitNet b1.58 (een paper uit 2024), dat elk gewicht beperkt tot slechts drie mogelijke waarden: {-1, 0, 1} — technisch 1,58 bits per gewicht (omdat log₂(3) ≈ 1,585). Opmerkelijk genoeg behaalt dit vergelijkbare prestaties als een standaard LLaMA-model van equivalente omvang, terwijl het dramatisch minder energie verbruikt — het paper rapporteert ruwweg 1/71,4 van het energieverbruik van het equivalente full-precision model, en het is efficiënt genoeg om op gewone CPU’s te draaien in plaats van gespecialiseerde accelerator-hardware te vereisen.

De voor de hand liggende uitdagingen zijn quantization error en numerieke overflow/underflow, wat precies de reden is waarom QAT bestaat — het model trainen om van het begin af aan goed te gedragen onder lage precisie, in plaats van te hopen dat een achteraf afrondingsstap niets belangrijks breekt.

3. Pruning: verwijderen wat het model niet nodig heeft

Waar quantization elk getal kleiner maakt, verwijdert pruning getallen volledig — nul-waarden (sparsity) introduceren in gewichtsmatrices zodat hele verbindingen, of in sommige gevallen hele neuronen, simpelweg ophouden te bestaan. Sparse matrices zijn goedkoper op te slaan en, op de juiste hardware, goedkoper mee te rekenen, omdat bewerkingen op nul-waardige gewichten vaak volledig kunnen worden overgeslagen.

Pruning en quantization sluiten elkaar niet uit — een echte implementatie-pipeline combineert doorgaans meerdere van deze technieken tegelijk: destilleer een kleiner studentmodel, kwantiseer zijn gewichten, en prune onnodige verbindingen, vaak naast Low-Rank Adaptation (LoRA) voor efficiënte fine-tuning (en zijn gekwantiseerde neef, QLoRA), zodat het aanpassen van het gecomprimeerde model aan een specifiek domein ook goedkoop blijft.

Waarom kleinere modellen meer beveiligd kunnen zijn, niet minder

Hier is de verbinding die te zelden wordt gemaakt: compressie is niet alleen een kosten-en-energie-verhaal — het is ook een beveiligingsverhaal. Adversarial attacks op neurale netwerken benutten regelmatig ongebruikte of redundante capaciteit: verbindingen en parameters die niet zinvol bijdragen aan de werkelijke taak van het model, maar die een aanvaller kan manipuleren om een gerichte misclassificatie of ongewenste uitvoer te produceren terwijl de invoer normaal lijkt voor een mens.

Pruning verwijdert precies dit soort speling. Als een verbinding is geëlimineerd omdat die niet bijdroeg aan echte taakprestaties, is die ook niet meer beschikbaar als aanvalsoppervlak — de beslissingsgrens van het model wordt gedwongen uitsluitend afhankelijk te zijn van de kenmerken die er werkelijk toe doen, in plaats van van incidentele correlaties die een aanvaller kan aanpassen. Knowledge distillation doet iets verwants: omdat het studentmodel is getraind om de softened, gegeneraliseerde beslissingsgrens van de teacher te reproduceren in plaats van de trainingsdata direct te memoriseren, heeft het de neiging een vloeier, minder exploiteerbaar responsoppervlak te erven. Dit specifieke idee heeft zijn eigen naam in de adversarial robustness-literatuur — defensive distillation, en een nauw verwante familie van technieken genaamd feature squeezing, die de vrijheidsgraden van de invoer reduceert op een manier die precies weerspiegelt wat pruning doet met de interne vrijheidsgraden van een model.

Dit betekent niet dat een gecomprimeerd model immuun is voor adversarial attacks — dat is het niet, en dedicated adversarial training blijft noodzakelijk bovenop compressie, niet in plaats daarvan. Maar het betekent wel dat het inkrimpen van een model om kosten- en energieredenen geen beveiligingsafruil is die je gedwongen bent te accepteren. Goed gedaan, kan het de andere kant op bewegen.

Voor een volledige behandeling van hoe adversarial attacks op afbeeldingen en tekst er daadwerkelijk uitzien — en de concrete verdedigingen, buiten compressie, die elk type adresseren — zie het eerder gepubliceerde artikel in deze reeks: Adversariale aanvallen: hoe een paar onzichtbare pixels of één omgewisseld woord een AI kan misleiden.

Alles samen

Distillation, quantization en pruning worden gewoonlijk gepresenteerd als afzonderlijke kostenoptimalisatietrucs, maar ze delen een rode draad: elk vraagt het model meer te doen met minder — minder parameters, minder bits, minder verbindingen — terwijl het gedrag dat er werkelijk toe doet behouden blijft. Dat is precies het mechanisme achter het “klein gespecialiseerd model dat bijna een frontiermodel evenaart”-resultaat dat eerder op deze site werd behandeld: een model heeft niet de volledige capaciteit van een generalist nodig als het alleen maar één ding goed hoeft te doen, en compressie is het concrete engineeringpad dat “heeft de capaciteit niet nodig” omzet in “heeft de capaciteit niet, en draait op een laptop in plaats van een datacenter.” Lagere trainings- en inferentiekosten, echte on-device en edge-implementatie, en — als welkom neveneffect — een kleiner, moeilijker-te-benutten aanvalsoppervlak. Die combinatie is waarom dit een van de meest actieve onderzoeksgebieden in het vakgebied blijft.

Kernpublicaties

  • Hinton et al. (2015), Distilling the Knowledge in a Neural Network — arXiv:1503.02531
  • Sanh et al. (2019), DistilBERT, a Distilled Version of BERT — arXiv:1910.01108
  • Ma et al. (2024), The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits (BitNet b1.58) — arXiv:2402.17764
  • Hu et al. (2022), LoRA: Low-Rank Adaptation of Large Language Models — arXiv:2106.09685

Verder lezen op deze site