Vad åtta år av NLP i produktion lärt mig om LLM-agenter

I slutet av 2018, några månader efter att Google släppt BERT, började mitt team på Spotify finjustera den på användartext — supportärenden, mejl, sociala medier — och klustra den till intents. Det systemet blev infrastruktur för hela bolaget och är, såvitt jag vet, fortfarande i produktion. 2026 bygger jag LLM-agentsystem tillsammans med kunders team. Modellerna är oigenkännliga. Listan över vad som avgör om systemet överlever är nästan oförändrad.

2018: när "språkmodell" betydde 340 miljoner parametrar

Intentmodellen var en klassiker för sin tid. Fyra av oss tog BERT — splitterny, spännande, dåligt förstådd — och satte den i arbete på ett verkligt problem: Spotify tog emot enorma mängder användartext, och ingen kunde läsa allt. Vi finjusterade, klustrade meddelanden till intents (hackade konton, uppsägningar, uppspelningsproblem, och hundratals fler), indexerade korpusen så att vilket team som helst kunde söka i den, och såg intenttoppar bli ett tidigt varningssystem för incidenter.

Här är det folk glömmer om den generationens NLP: modellen var den minsta posten. Arbetet var allt runt omkring — att få fram märkt data, att bestämma vad taxonomin av intents ens skulle vara, att servera prediktioner pålitligt, att upptäcka när språket drev och modellen i tysthet blev sämre, och att övertyga andra team att bygga ovanpå. Finjusteringen tog veckor; systemet tog år.

Håll den proportionen i minnet. Den är hela poängen med den här texten.

2022–2024: ML med intäkterna på spel

På SeenThis byggde jag dataplattformen från grunden — realtidsinläsning från edge-nätet med runt 10 000 händelser per sekund — och sedan ML-lagret ovanpå: modeller som finjusterade en streamingalgoritm och prognosticerade visningsvolymerna som bolaget prissatte sin produkt på. När ens modellutdata matar prissättningen lär man sig en särskild sorts ödmjukhet. Ingen frågar hur nyskapande arkitekturen är. De frågar om siffran stämde, och vad du gör när den inte gör det.

Den perioden lärde mig jobbets operativa halva: övervakning är en funktion, inte en eftertanke; en prognos som inte kan förklara sig själv blir överkörd av ett kalkylblad; och felet du inte räknade upp är det som väcker dig på natten.

2024–2026: LLM:er som själva produkten

På Saltfish — startupen jag var med och grundade och drev som CTO fram till vår exit 2026 — var LLM:er inte en funktion, de var fabriken. Plattformen förvandlade en enda inspelning av en mjukvaruprodukt till interaktiva demos, videor och dokumentation, med genereringspipelines över flera modeller och leverantörer, och en MCP-integration så att kunderna kunde styra produkten från sina egna AI-assistenter. Två ingenjörer, produktionsansvar, betalande kunder.

Att driva multileverantörs-pipelines med LLM:er i produktion i två år pressar in många åsikter i en. Den viktigaste: modellutvecklingen är verklig och underbar och den kommer inte att rädda dig. Varje kapacitetshopp höjde vårt golv — och lämnade varje svårt problem (evals, integration, felhantering, kostnadskontroll, förtroende) exakt där det var.

Det som överförs från 2018 till agenter, nästan pinsamt direkt

1. Modellen är fortfarande den minsta delen av systemet

2018 var förhållandet mellan "omgivande system" och "modellarbete" kanske 10:1. Med agenter 2026 känns det högre, inte lägre. Verktygsdesign, kontexthantering, behörigheter, evals, övervakning, integrationen i arbetsflödet där agenten lever — det är projektet. Team som utvärderar agenter genom att jämföra frontier-modeller i ett chattfönster mäter de fem procenten.

2. Evals är det nya märkta datasetet

2018 hände ingenting förrän vi hade labels. 2026 borde ingenting hända förrän du har en eval-svit: verkliga uppgifter från ditt verkliga arbetsflöde, med graderade svar. Det är samma disciplin i nya kläder — och fortfarande skillnaden mellan ingenjörskonst och magkänsla. När jag bygger en agent med ett kundteam är eval-sviten det första vi skapar och det sista jag lämnar över.

3. Intentklassificering dog inte — den blev routing

Det oglamorösa 2018-problemet — "vad handlar den här texten egentligen om?" — är numera routern längst fram i varje seriöst agentsystem: vilket verktyg, vilket arbetsflöde, vilka ärenden som ska eskaleras till en människa. Routar agenten fel är allt nedströms skräp. De gamla NLP-instinkterna (taxonomidesign, förväxlingsanalys, trösklar för "jag vet inte") gäller ordagrant.

4. Avdrift är evig

Språket drev under vår intentmodell; världen driver under din agent. Nya produkter, omdöpta fält, en partner som byter rapportformat. 2018 års svar är fortfarande svaret: övervaka utdata, plocka in misslyckanden i eval-sviten, och betrakta "blir i tysthet sämre" som standardbanan som ingenjörsarbete måste kämpa emot.

5. Produktion är en plats, inte en milstolpe

Intentmodellen överlevde åtta år för att den blev infrastruktur andra team var beroende av — sökbar, pålitlig, tråkig. Demos överlever inte; beroenden gör det. En agent överlever på samma sätt: inbäddad i ett arbetsflöde, billigare att använda än att kringgå, ägd av ett team som kan laga den klockan tre på natten. Det är därför jag insisterar på att bygga med kundens team i stället för att leverera en svart låda.

Det som är genuint nytt: modellen agerar

En sak förändrades i grunden. 2018 var värsta utfallet en felaktig label. 2026 är en agents värsta utfall en felaktig handling. Den asymmetrin borde styra hela designen: läsverktyg först, snäva behörigheter, mänskligt godkännande där handlingar inte går att ångra, och skyddsräcken behandlade som produktfunktioner snarare än compliance-plikter. Teamen som får det här rätt förtjänar rätten att automatisera mer; teamen som hoppar över det producerar skräckhistorierna som sätter alla andras program ett år tillbaka.

Åtta år senare är min sammanfattning kort. Modellerna blev till slut bra nog att vara genuint användbara för nästan vilket företag som helst. Arbetet som gör dem användbara är samma arbete som det alltid varit. Gör de tråkiga delarna, i rätt ordning, med människorna som ska äga systemet — så sköter den glansiga delen sig själv.