Gå fra AI-demo til et system, der faktisk fungerer i produktion

AI Engineering: Building Applications with Foundation Models af Chip Huyen er en praktisk og teknisk guide til den nye disciplin AI engineering: arbejdet med at bygge fungerende AI-applikationer oven på eksisterende foundation models frem for selv at træne avancerede machine learning-modeller fra bunden. Bogen tager udgangspunkt i den udvikling, der har gjort kraftfulde AI-modeller tilgængelige gennem API'er og open source, og fokuserer på det næste spørgsmål: Hvordan bygger man faktisk et godt produkt med dem? 

Chip Huyen starter med at forklare foundation models og forskellen mellem AI engineering, traditionel machine learning engineering og almindelig softwareudvikling. Du behøver ikke selv kunne udvikle en model på niveau med de største sprogmodeller, men du bør forstå, hvordan blandt andet træningsdata, modelstørrelse og post-training påvirker modellernes muligheder og begrænsninger. 

Herfra bevæger bogen sig ind i de teknikker, der bruges til at tilpasse eksisterende modeller til konkrete produkter. Det omfatter blandt andet prompt engineering, retrieval-augmented generation (RAG), fine-tuning, agents og dataset engineering. Huyen argumenterer for en gradvis tilgang, hvor man starter med den simpleste løsning og først introducerer mere avancerede teknikker, når der faktisk er behov for dem. 

Et særligt vigtigt emne er evaluation. Generativ AI producerer åbne og varierende outputs, hvilket gør det vanskeligere at definere, hvornår et system fungerer godt. Bogen undersøger derfor evaluering, benchmarks og metrics samt metoder som AI-as-a-judge. Samtidig behandler den de mere klassiske engineering-problemer omkring latency, omkostninger og effektiv inference, som bliver afgørende, når en prototype skal udvikles til et produkt, der kan fungere i produktion. 

Bogens sidste dele samler elementerne i en mere komplet AI-arkitektur med blandt andet context enhancement, guardrails, model routing, caching, agent patterns, monitoring og brugerfeedback. Dermed handler AI Engineering ikke bare om at få en LLM til at generere det rigtige svar én gang, men om at bygge robuste AI-systemer, der kan evalueres, forbedres og drives over tid. 

AI Engineering udkom hos O'Reilly i december 2024 og er placeret på et intermediate-to-advanced niveau. Den fungerer samtidig som et supplement til Huyens tidligere Designing Machine Learning Systems. Hvis du vil supplere den tekniske tilgang med et bredere perspektiv på AI's muligheder og risici, er The Coming Wave af Mustafa Suleyman og Michael Bhaskar et oplagt valg. Thinking in Systems af Donella H. Meadows kan desuden give et stærkt fundament for at forstå de komplekse systemer, som AI-applikationer i stigende grad bliver en del af. 

Hvem er bogen til?

• Softwareudviklere, der vil begynde at bygge AI-applikationer.

• Machine learning engineers og data scientists.

• AI engineers, der vil styrke deres forståelse af moderne AI-systemer.

• Tekniske produktfolk og founders, der udvikler produkter med generativ AI.

• Dig, der vil forstå RAG, fine-tuning, agents og prompt engineering i en større sammenhæng.

• Dig, der allerede har grundlæggende teknisk erfaring og vil fra AI-prototype til produktionsklart system.

Det får du ud af at læse bogen

• En grundig introduktion til AI engineering og foundation models.

• Forståelse for forskellen mellem AI engineering og traditionel ML engineering.

• Praktisk viden om prompt engineering, RAG, fine-tuning og agents.

• Metoder til at evaluere AI-systemers kvalitet og outputs.

• Indblik i dataset engineering og arbejdet med data til AI-applikationer.

• Forståelse for latency, inference, omkostninger og deployment.

• Perspektiver på guardrails, monitoring, brugerfeedback og arkitekturen bag produktionsklare AI-systemer. 

Derfor bør du læse bogen

Det er relativt nemt at få en foundation model til at lave en imponerende demo. Det er langt sværere at bygge et AI-produkt, der fungerer stabilt, hurtigt og økonomisk i den virkelige verden. AI Engineering fokuserer netop på dette spring. Chip Huyen samler de centrale teknikker og engineering-principper i én bog og viser, hvordan du kan gå fra eksperimenter med foundation models til systemer, der kan sættes i produktion og forbedres over tid. 

Om forfatteren

Chip Huyen er computer scientist, forfatter og specialist i machine learning-systemer. Hun har arbejdet hos blandt andre NVIDIA og Snorkel AI, grundlagt en AI-infrastruktur-startup og undervist i Machine Learning Systems Design på Stanford University. 

Hun er også forfatter til Designing Machine Learning Systems fra 2022, der fokuserer på design og drift af machine learning-systemer i produktion. AI Engineering bygger videre på dette fundament med særligt fokus på den nye generation af applikationer baseret på foundation models.