Del 11 av 14 · AI-grunnkurs for kunnskapsarbeid
Kontroller før bruk
Kontrollnivået skal følge risikoen; viktige resultater må vurderes mot autoritative kilder og krav.
Innhold i denne delen
01 · Bygg en kontroll som ikke krever blind tillit
Bygg en kontroll som ikke krever blind tillit
Begrensningene betyr ikke at alt agenten lager må kontrolleres like grundig.
En idémyldring eller et førsteutkast kan tåle usikkerhet. Et juridisk råd, et regnestykke, en viktig påstand eller et grunnlag for en beslutning krever en helt annen kontroll.
Velg nå ett resultat og be agenten skille mellom dokumenterte påstander, antakelser og det som fortsatt må undersøkes. Målet er å bestemme kontrollnivået før du bruker resultatet videre.
02 · Skill belegg fra antakelser
Skill belegg fra antakelser
Du kommer aldri til et punkt der du bare kan bestemme deg for å stole på en modell. Det du kan gjøre, er å bygge en kontroll som gjør at du ikke trenger å stole blindt på den.
Det krever to ting. Først må arbeidsrommet forklare hvilke kilder som har fasiten, hvilke feil som er uakseptable, og hva som alltid må kunne dokumenteres. Deretter trenger du en fast arbeidsmåte for å kontrollere et resultat mot akkurat disse kravene.
I denne øvelsen er den rå møtetranskripsjonen kilden som har fasiten. Det ferdige møtenotatet skal ikke kunne finne på en beslutning, en ansvarlig eller en frist. Oppgaver og beslutninger må kunne spores tilbake til noe som faktisk ble sagt.
Agenten hjelper deg først med å formulere dette som arbeidsrommets kontrollregler. Du kontrollerer at riktig kilde og de viktigste kravene er med før du godkjenner.
Selve kontrollskillen lager du ikke her. `sjekk-resultat` følger allerede med arbeidsflaten og er testet som en felles arbeidsmåte. Den leser arbeidsrommets egne kontrollregler, åpner kilden og resultatet selv og avgir en begrunnet dom. Når klienten tillater det, skal selve vurderingen gjøres av en separat agent som ikke skrev resultatet.
Kontrolløren skal ikke være en hjelpsom medforfatter. Den skal finne manglende belegg, overdrevne konklusjoner og krav som ikke er oppfylt. Hvis noe ikke kan verifiseres, skal den si det. Den retter heller ikke resultatet; den sender konkrete avvik tilbake til den som gjorde arbeidet. En liten validator hindrer også at rapporten sier `GODKJENT` når en kilde mangler, en fil er endret eller et krav ikke er oppfylt. Det er en sperre mot åpenbare feil, ikke en garanti for at vurderingen er perfekt.
Dette er en sterkt forenklet utgave av prinsippet bak mer avanserte oppsett med egne produksjons- og kontrollroller. Nate B. Jones beskriver hvordan en separat kvalitetsfunksjon kan fange opp fabrikkert arbeid, kreve ny gjennomføring og kontrollere resultatet på nytt. Kurset låner rollefdelingen, ikke hele systemet. [Kilde: «How to Trust AI Agents»](https://natesnewsletter.substack.com/p/trust-ai-agents).
03 · Møtereferatet må kunne spores til møtet
Møtereferatet må kunne spores til møtet
En praktisk kontroll kan bruke en enkel bevislinje for hver viktig opplysning: påstand i møtenotatet, tilsvarende formulering i transkripsjonen og kontrollørens dom. Da blir det synlig om notatet oppsummerer kilden eller fyller et hull på egen hånd.
Hvis notatet sier at Nora leverer fredag, men transkripsjonen bare sier at Nora undersøker saken, finnes det ikke belegg for verken leveranse eller frist. Kontrolløren markerer avviket og viser til det aktuelle stedet i kilden. Den skal ikke velge en sannsynlig fredag eller oppgradere en undersøkelse til en beslutning.
Denne arbeidsdelingen gjør rettingen ryddig. Produsenten får et konkret avvik å behandle, mens kontrollrapporten bevarer skillet mellom det som kom fra kilden og det kontrolløren observerte.
04 · Kontrolløren vurderer, den omskriver ikke
Kontrolløren vurderer, den omskriver ikke
En kontrollør skal finne manglende belegg og krav som ikke er oppfylt. Den sender konkrete avvik tilbake til produsenten i stedet for å rette resultatet mens den vurderer det.
Prøv i din egen arbeidsflate
Gjør det konkret
Velg et lite AI-resultat. Navngi fasitkilden, én uakseptabel feil og hva et menneske må kontrollere før bruk.
Resultat som skal kontrolleres: […] Kilden som har fasiten: […] Uakseptabel feil: […] Dette må kunne spores: […] Dette må et menneske kontrollere før bruk: […]
Arbeidet skjer hos deg. Læringsportalen lagrer ikke svaret.
Sjekk forståelsen