Når AI gætter på sandheden

Derfor kan et plausibelt svar være den farligste fejl i et længere samarbejde mellem forfatter og AI

Den farligste fejl lyder ofte helt rigtig

Når en AI tager fejl, forestiller mange sig en tydelig hallucination, et navn der ikke findes, en forkert dato eller et faktum, som hurtigt kan afvises. I længere skriveprojekter er den mere interessante fejl langt mere diskret. AI møder et hul i materialet, udleder den mest sandsynlige forklaring og skriver videre, som om forklaringen var kendt. Resultatet kan passe så godt til resten af historien, at hverken forfatteren eller modellen reagerer med det samme. Hvis to personer tydeligvis kender hinanden, men teksten ikke fortæller hvordan, kan modellen skabe et plausibelt tidligere møde. Hvis en karakter reagerer stærkt på en situation, kan den udlede en bagvedliggende erfaring. Hvis et tidsrum mangler mellem to scener, kan den placere en hændelse dér, fordi det virker dramaturgisk naturligt. Intet af det behøver lyde forkert. Tværtimod er det netop sandsynligheden, der gør fejlen farlig. I et projekt som Herstasia kan en plausibel antagelse senere dukke op i en analyse, derefter i en omskrivning og til sidst i et resumé eller en tidslinje. På det tidspunkt ligner den ikke længere et gæt, men en etableret del af fortællingen. Derfor er den vigtigste regel ikke blot at undgå hallucinationer. Det er at kunne skelne mellem dokumenteret viden, rimelig udledning og noget AI selv har konstrueret for at få helheden til at hænge sammen.

AI er bygget til at lukke huller

Problemet opstår ikke, fordi AI bevidst forsøger at snyde. Det opstår, fordi sproglige modeller netop er stærke til at fortsætte mønstre. Når information mangler, stopper modellen ikke nødvendigvis af sig selv og siger, at feltet er tomt. Den kan i stedet vælge den formulering, der statistisk og narrativt passer bedst til konteksten. I almindelige spørgsmål er det ofte hjælpsomt. I fiktion kan det være en direkte trussel mod kanon. En fortælling indeholder nemlig mange bevidste tomrum. Forfatteren har måske endnu ikke besluttet, hvorfor to karakterer kender hinanden. En hemmelighed kan være reserveret til et senere kapitel. En reaktion kan være tvetydig med vilje. Når AI ser et sådant hul, kan dens naturlige hjælpsomhed blive en fejlmekanisme. Den fylder tomrummet, fordi sammenhæng normalt belønnes. Det gør samarbejdet anderledes end arbejde med en traditionel korrekturlæser. En menneskelig redaktør vil ofte markere: Her mangler en forklaring. En AI kan levere forklaringen med det samme. Derfor bør opgaven formuleres, så modellen har lov til at lade noget være ubestemt. Den skal ikke belønnes for at få alt til at passe. Nogle gange er det mest præcise svar ganske enkelt, at kilden ikke fastlægger det. Den sætning kan virke mindre imponerende end en elegant løsning, men i et fortælleunivers er den ofte langt mere værdifuld.

Tre niveauer af sandhed bør holdes adskilt

En robust arbejdsmetode begynder med tre kategorier. Den første er dokumenteret sandhed: oplysninger der står i den gældende tekst, tidslinje, personstyring eller anden godkendt kilde. Den anden er udledning: noget der ikke siges direkte, men som med rimelig sikkerhed kan følge af det dokumenterede. Hvis en person er på arbejde i Aalborg klokken otte og senere samme dag befinder sig hjemme i Sæby, kan man udlede, at der er foregået en transport, selv om turen ikke beskrives. Den tredje kategori er konstruktion: en forklaring, detalje eller motivation der ikke kan udledes sikkert, men som kunne passe. De tre niveauer kan sprogligt ligne hinanden, hvis AI ikke bliver tvunget til at markere forskellen. Det er her samarbejdet let går skævt. En formulering som “de kendte hinanden fra studietiden” lyder lige så sikker som en faktisk kildeoplysning, selv om modellen blot har valgt den mest plausible bro. Derfor bør analyser i store fortælleprojekter kunne mærke deres egne udsagn. Ikke nødvendigvis med tunge etiketter i den færdige tekst, men i arbejdsfasen skal det være klart, hvad der er citeret fra sandhedskilden, hvad der er logisk udledt, og hvad der kun er et forslag. Den disciplin gør det muligt for forfatteren at bruge AI kreativt uden at miste kontrollen over, hvilke oplysninger der faktisk eksisterer.

Et plausibelt gæt kan blive til falsk kanon

Den alvorligste konsekvens kommer sjældent i det øjeblik, hvor gættet opstår. Den kommer senere, når gættet begynder at cirkulere mellem dokumenter. Forestil dig, at en AI analyse skriver, at en karakter sandsynligvis flyttede hjemmefra efter en bestemt konflikt. I næste omskrivning bliver “sandsynligvis” til en konkret scene. Senere bruges kapitlet som kilde til et resumé, og resuméet bruges igen ved planlægningen af en ny fortælling. På få trin har en oprindelig antagelse fået status som historisk fakta. Dette er en form for informationssmitte. Jo mere velskrevet og sammenhængende den første antagelse var, desto sværere bliver det at opdage, at den aldrig blev besluttet. Herstasia arbejdet har vist, hvorfor versionsstyring og faste sandhedskilder er nødvendige, når AI bruges på tværs af mange tekster. Det er ikke nok at have “den rigtige version” et sted. Man skal også vide, hvilke dokumenter der må definere kanon, og hvilke der kun er analyse, plan, adaptation eller refleksion. En analyse må gerne foreslå en mulig forklaring, men den må ikke senere citeres som bevis for, at forklaringen er sand. På den måde minder arbejdet mere om kildekritik end om almindelig tekstproduktion. Hver oplysning bør have en oprindelse, og oprindelsen bør kunne spores tilbage til noget, der faktisk havde autoritet til at fastlægge den.

Når hukommelse bliver en dårlig erstatning for styring

I længere AI samarbejder opstår let en illusion om fælles hukommelse. Forfatteren har forklaret en relation tidligere, modellen har arbejdet med den i flere chats, og derfor føles det naturligt at forvente, at informationen stadig ligger stabilt tilgængelig. Problemet er, at samtalehistorik, opsummeringer, tidligere versioner og nye instruktioner ikke er det samme som en kontrolleret database. En gammel formulering kan overleve i konteksten efter at være blevet erstattet. En nyere beslutning kan være mindre detaljeret end en tidligere og derfor blive overskrevet af noget, der lyder mere komplet. Modellen kan også kende to versioner og ubevidst blande dem til en tredje. Derfor bør vigtig kanon ikke afhænge af, hvad AI “kan huske”. Den skal kunne genlæses fra en aktiv kilde. I Herstasia betyder det blandt andet, at personer, relationer, kapitler, versioner og kronologi behandles som styringsdata frem for som samtalestof. Det ændrer samarbejdet markant. Hvis AI påstår noget, der strider mod styringen, er spørgsmålet ikke, hvilken forklaring der lyder mest overbevisende. Den aktive kilde har forrang. Samtalen kan stadig bruges til idéer, analyse og nuance, men den er ikke sandhedsinstansen. Det er en vigtig skelnen, fordi AI dermed får lov til at være fleksibel uden samtidig at få ansvaret for at opbevare fortælleuniversets eneste hukommelse.

Usikkerhed skal være en tilladt del af svaret

Mange prompts er skrevet, som om et godt svar altid er et fuldt svar. Det presser modellen til at lukke alle åbninger. I kreativt arbejde bør det modsatte ofte gælde. Et svar kan være stærkere, hvis det tydeligt siger, at noget ikke er fastlagt, at kilderne er uenige, eller at en forbindelse kun kan antages. Det kræver en kultur i samarbejdet, hvor usikkerhed ikke behandles som manglende kompetence. Hvis AI kun får ros, når den leverer en løsning, vil den naturligt forsøge at levere en løsning også dér, hvor den ikke burde. Derfor er det værd at indføre formuleringer som “ikke dokumenteret”, “kan udledes, men er ikke fastlagt” og “kræver forfatterbeslutning”. De fungerer som sikkerhedsventiler. I Herstasia er dette særlig vigtigt ved relationer, baggrundshistorie og tidslinje, fordi et lille gæt hurtigt kan påvirke flere kapitler. Det samme gælder følelsesmæssige fortolkninger. En karakter kan være stille efter en begivenhed uden at teksten endnu fastslår hvorfor. Hvis AI straks forklarer stilheden med skyld, jalousi eller frygt, kan den indsnævre en scene, der skulle være åben. At bevare usikkerheden er derfor ikke passivitet. Det er en aktiv respekt for fortællingens informationsgrænser. Nogle spørgsmål skal besvares senere af historien, andre af forfatteren, og enkelte behøver måske aldrig få ét entydigt svar.

Fortolkning må ikke forklædes som fakta

Fiktion inviterer naturligt til fortolkning, og det er en af de ting, AI kan være særdeles god til. Den kan se mønstre, spejlinger, undertekst og mulige tematiske forbindelser, som forfatteren ikke selv havde formuleret. Problemet opstår, når fortolkningen skifter grammatisk form og begynder at ligne fakta. “Denne scene kan læses som Livs frygt for at miste kontrol” er en fortolkning. “Liv er bange for at miste kontrol” er en påstand om karakterens indre sandhed. Forskellen virker lille, men den har stor betydning i et projekt, hvor analyser senere bruges som grundlag for omskrivning. Hvis fortolkningen bliver behandlet som fast karakterfakta, kan nye scener begynde at bevise den. På den måde kan AI skabe en psykologisk retning, der aldrig var besluttet, men som efterhånden fremstår veldokumenteret, fordi modellen selv har produceret dokumentationen. Det er særligt vigtigt, når man arbejder med modeller som Lie, Truth, Want og Need. De er stærke analytiske begreber, men de må ikke automatisk forvandle en mulig læsning til forfatterens endelige facit. Den praktiske løsning er ikke at undgå fortolkning. Tværtimod bør AI gerne tilbyde flere læsninger og forklare, hvad i teksten der støtter dem. Men den bør også kunne sige, hvor beviset stopper. Forfatteren kan derefter vælge, om en fortolkning skal forblive læsermulighed eller udvikles til egentlig kanon.

AI må finde hullet uden at fylde det

En af de mest produktive rolleændringer er at bede AI om at identificere mangler uden samtidig at løse dem. Det lyder beskedent, men det skaber en markant bedre redaktionel proces. Hvis to kapitler forudsætter, at en karakter ved noget, men ingen tekst viser, hvordan personen fik informationen, kan modellen markere et informationshul. Hvis en rekvisit senere bruges som payoff, men dens tidligere placering er uklar, kan den markere et kontinuitetshul. Hvis en relation pludselig føles tættere, kan den pege på den manglende overgang. Først derefter beslutter forfatteren, om hullet faktisk skal lukkes, og i så fald hvordan. Nogle huller er fejl, andre er ellipse, og andre igen er bevidst tilbageholdt information. Denne sondring forsvinder, hvis modellen får mandat til at reparere alt automatisk. I Herstasia har netop dette princip vist sig værdifuldt. En analyse må gerne sige, at noget ikke kan forklares ud fra den aktuelle kanon. Den må ikke nødvendigvis opfinde en scene, et tidligere møde eller en motivation. Dermed ændres AI rollen fra problemløser til problemfinder i første fase. Det er ikke mindre kreativt. Tværtimod giver det forfatteren bedre råmateriale til den egentlige beslutning. Den bedste hjælp kan nogle gange være en præcis formulering af, hvad teksten endnu ikke har besluttet.

Gæt spreder sig hurtigst gennem omskrivninger

Omskrivning er et særligt risikoområde, fordi den nye tekst ofte får højere autoritet end analysen, der skabte den. Hvis AI først har gættet på en forbindelse og derefter bruger forbindelsen i en flydende scene, bliver det svært at se, at noget nyt er blevet indført. En sætning om et gammelt bekendtskab, en henvisning til en tidligere samtale eller en bestemt følelsesmæssig årsag kan glide ubemærket ind mellem ellers korrekte ændringer. Derfor bør større omskrivninger efterfølges af en differenskontrol, der ikke kun spørger, hvad der er blevet bedre, men også hvad der er blevet nyt. Nye fakta, nye motiver, nye relationelle antagelser og nye tidsmarkører bør kunne identificeres særskilt. I et projekt med mange versioner er dette næsten lige så vigtigt som almindelig korrektur. Herstasia erfaringerne viser, at en revision godt kan være dramaturgisk stærk og samtidig have opfundet noget, der senere skaber kontinuitetsproblemer. En god proces behandler derfor ny tekst som en kandidat, ikke som sandhed i samme øjeblik den er skrevet. Først når den er sammenholdt med kanon og forfatterens intention, kan dens nye oplysninger accepteres. Det beskytter også AI samarbejdet mod en selvforstærkende effekt, hvor modellen i næste runde læser sin egen tidligere opfindelse og tolker den som bevis på, at antagelsen hele tiden var korrekt.

Et sandhedshierarki gør samarbejdet hurtigere

Det kan lyde administrativt at arbejde med sandhedshierarki, men i praksis gør det kreativt arbejde hurtigere. Hvis alle dokumenter har samme status, bliver hver uenighed en diskussion. En gammel synopsis siger ét, et nyere kapitel noget andet, en analyse foreslår noget tredje, og AI forsøger at finde en kompromisløsning. Med et klart hierarki er konflikten enklere. Godkendt kanon står over arbejdsnoter. Aktuel tidslinje står over en ældre analyse. En analyse kan udfordre teksten, men den kan ikke ændre den alene. En plan kan beskrive en kommende ændring, men den er først gældende, når ændringen faktisk er gennemført og godkendt. Det betyder, at modellen ikke behøver gætte på, hvilken kilde der “lyder rigtigst”. Den kan følge autoriteten. Forfatteren får samtidig et sted at træffe beslutningen én gang. Når en relation eller dato er afklaret, skal den ikke genforhandles i hver senere chat. I Herstasia er denne arbejdsform blevet afgørende, netop fordi projektet rummer lange kapitler, onlineversioner, resuméer, analyser og tidslinjer. Jo flere afledte tekster der findes, desto vigtigere er det, at kun nogle få kilder må definere sandheden. Strukturen reducerer ikke kreativiteten. Tværtimod beskytter den den ved at forhindre, at et tilfældigt AI gæt får samme vægt som en bevidst forfatterbeslutning.

Den rigtige reaktion på et gæt er sporbarhed

Når et plausibelt gæt opdages, er den mindst nyttige reaktion blot at rette sætningen og gå videre. Det vigtigste spørgsmål er, hvor gættet allerede kan have spredt sig. Er det kun i analysen, eller findes det også i en nyere version, et resumé, en tidslinje eller en anden karakterbeskrivelse? Jo mere integreret oplysningen er blevet, desto mere ligner problemet en datakorrektion frem for en almindelig tekstfejl. Derfor er sporbarhed central. Man bør kunne se, hvilken kilde en oplysning kom fra, hvilken version der indførte den, og hvilke senere tekster der bygger på den. Det er ikke nødvendigt at føre et tungt revisionssystem for hver formulering, men større kanoniske oplysninger bør kunne følges. Herstasia arbejdet har vist værdien af netop denne disciplin, fordi én rettelse ellers kan efterlade flere afledte tekster i en forældet tilstand. AI kan faktisk være en stor hjælp her. Når fejlen først er identificeret, kan modellen søge efter den samme antagelse på tværs af materialet og markere alle steder, der bør genkontrolleres. Dermed bliver en af AI største risici også et område, hvor værktøjet kan hjælpe med oprydningen. Forskellen er, at den ikke selv må beslutte, hvad den nye sandhed er. Den må hjælpe med at finde konsekvenserne af den beslutning, forfatteren allerede har truffet.

Den vigtigste sætning kan være: Det ved vi ikke endnu

Et modent samarbejde mellem forfatter og AI kræver ikke, at modellen altid har et svar. Det kræver, at den ved, hvilken type svar den har. Når noget står i kilden, kan det behandles som viden. Når noget følger rimeligt af kilden, kan det præsenteres som udledning. Når flere løsninger er mulige, bør de præsenteres som muligheder. Og når materialet ikke giver grundlag for at vælge, er “det ved vi ikke endnu” et præcist og professionelt svar. Det er især vigtigt i kreativt arbejde, fordi uafklarede områder ikke nødvendigvis er mangler. De kan være fremtidigt stof. De kan være plads til læserens fortolkning. De kan være spørgsmål, forfatteren bevidst ønsker at holde åbne, indtil andre dele af historien er skrevet. AI bør derfor ikke måles på, hvor effektivt den fjerner al usikkerhed, men på hvor præcist den kan hjælpe med at placere usikkerheden. Når denne arbejdsform fungerer, bliver modellen en stærkere samarbejdspartner. Den kan være modig i analyse og idéudvikling, fordi grænsen mellem forslag og sandhed er tydelig. Forfatteren behøver ikke frygte, at enhver elegant formulering straks bliver til kanon. Den afgørende kvalitet er ikke, at AI aldrig gætter. Det er, at gættet ikke får lov til at forklæde sig som noget, der allerede er besluttet.