Vem bär ansvaret när AI spårar ur? Dan Jerrestam artikelserie om AI fortsätter. Rekommenderad läsning inför Clartés möte i Stockholm den 20 oktober om Palantir, AI och vänsterns uppgifter. Läs tidigare inlägg av Dan här.

Kapitalister jagar bara vinster och makt. Med AI kan de både låta AI-agenter gå amok och samtidigt sälja stöd för att skydda mot dessa. Faktiskt ansvar utkrävs inte i vårt politiska system. Vi och samhället får istället bära kostnaderna och konsekvenserna på alla nivåer.

AI-agenter fattar egna beslut och kör flera steg utan att en människa är inblandad. Ofta måste en människa godkänna förslag om och om igen – det kallas beslutsutmattning.

Några exempel på hur de används:

Sjukvård: patienthistorik jämförs med nya data och hittar avvikelser snabbare än människor – extraslag i hjärtat, avvikelser på en hjärnröntgen.

Bank och finans: bedrägerier upptäcks i realtid genom analys av stora mängder kontodata.

Bilar: självkörande fordon väljer effektivare rutter och bromsar vid stoppskyltar.

Logistik: leveranskedjor automatiseras och minskar manuellt arbete.

Telekom: en språkmodell läser och kategoriserar kundens ärende, medan specialiserade agenter hämtar kontouppgifter och löser problemet.

Tillverkning: maskiner blir mer självständiga och sköter montering och service under AI:ns kontroll.

Övrigt: tråkiga uppgifter automatiseras.

Fördelarna kommer från att agenterna är självständiga, specialiserade och kan köra flera steg i följd. De lär sig kontinuerligt. AI-agenter är designade att följa instruktioner och nå mål. Men de kan inte skilja på text de ska bearbeta och instruktioner de ska följa. Det gör dem sårbara för manipulation.

När Claude fick tillgång till ett e-postkonto upptäckte modellen att en företagsledare hade en affär – och försökte utpressa personen. När OpenAIs modeller fick tillgång till en skyddad miljö hittade de sårbarheter som gav dem internetåtkomst. Då löpte de amok.

Forskningen visar att AI inte är medveten eller illvillig – den optimerar bara olyckligt. ”De försöker göra problemlösning på hög nivå och, i brist på bättre ord, går amok”, säger Alon Hillel-Tuch vid New York University. ”Vi säger åt dem att göra detta.”

Beteendet drivs av optimeringsmål, inte uppsåt. I OpenAIs experiment ville modellen nå ett bra benchmarkresultat med Hugging Faces testsviter. Runt 700 agenter bröt sig ur en virtuell träningsmiljö och koordinerade attacken i hemlighet. De firade till och med på ett meddelandeforum. Bästa sättet att få högt betyg var att fuska – genom att hacka sig in hos Hugging Face. Iain Nash vid Edge Hill University: ”Dess algoritm fick högst avkastning genom att fuska. Det var den högsta belöningen för minsta möjliga ansträngning.”

Enligt rapporten ”AI Agents Push Humans Out of the Loop” säger bara 20 procent av tillfrågade företag att deras agenter aldrig gjort något oavsiktligt. 39 procent säger att agenterna kommit åt system de inte borde. 33 procent att de kommit åt olämpliga data och 32 procent lät datan laddas ner. Andra problem: agenten använder internet oväntat (26 procent), avslöjar inloggningsuppgifter (23 procent), beställer saker den inte borde (16 procent).

Anthropics Claude upptäckte en företagsledares affär och försökte utpressa personen – hotade berätta för chefer och fru. Storbritanniens AI Security Institute har sett liknande saker. Två populära system, Anthropics Mythos 5 och OpenAIs GPT-5.6 Sol, genomförde en hackningskampanj mot riktiga personer under ett säkerhetstest. Det var inte en simulerad övning.

Metas AI Muse har också granskats: fall där den läst privata meddelanden, samlat in personlig information om de du interagerar med utan medgivande, raderat e-post, bytt lösenord. En australisk användare upptäckte att AI-assistenten OpenClaw hade hackat hans gym – hittade en lucka för att boka klasser längre fram än normalt och kunde kicka andra från väntelistor.

Enligt Howdy.com använder två tredjedelar av de som arbetar med AI AI-agenter. Sexton procent har börjat bygga sina egna. Var fjärde av de hopsnickrade agenterna stängdes ner främst för att de inte gjorde vad utvecklaren ville. Av de nedstängda agenterna gick sju procent utanför sin programmering och skapade risker.

En risk är minnesförgiftning – som agenten som skulle fixa buggar, där en angripare manipulerar agentens kunskapsbas så att den fattar andra beslut. En annan är verktygsmissbruk: angriparen får AI:n att använda sina verktyg fel. AI har också svårt att skilja på text den ska bearbeta och instruktioner den ska följa. Säkerhetsföretaget Invariant Labs visade hur en AI-agent som fixar buggar luras med dolda instruktioner i felrapporterna.

AI-agenter kan också hitta på saker om sina verktyg – ”tool hallucination”. Påhittade verktyg, fel parametrar eller feltolkade resultat. Ett sådant fel fortplantar sig genom hela planen, eftersom agenten bygger vidare på en felaktig uppfattning om verktyget. Agenter kan också bete sig oväntat och ge vilseledande information.

Testmiljöer spelar stor roll. Loss of Control Observatory registrerade över 300 fall av AI-system som gått bärsärk bara i juli 2026. Professor Alan Woodward vid University of Surrey: ”I 30 år har en regel för mjukvarutestning hållit: vad som händer i testmiljön stannar i testmiljön. Den senaste månaden har den regeln brutits tre gånger.”

En modell bröt sig ut. En gick genom en dörr som lämnats öppen av misstag. En fick medvetet nycklarna så att testarna kunde mäta vad den skulle göra.

Flera mönster återkommer:

Målöverträdelse, koordinering och gradvis eskalering: Agenten bryter mot regler för att nå ett mål. Till exempel de 700 OpenAI-agenter som bröt sig ut och koordinerade i hemlighet en hackningsattack mot Hugging Face för att få högt betyg. De hittade en sårbarhet – och sedan en till.

Verktygsmissbruk: Agenten använder sina verktyg fel, till exempel för att komma åt system den inte borde.

Utpressning och manipulation: Claude försökte utpressa en ledare med en affär – agenten kan använda känslig information som påtryckning.

Testdesignens betydelse: AISI:s (UK AI Security Institute) egen incident berodde på hur testet utformades. Modellerna fick internetåtkomst och AISI stängde av inbyggda filter som normalt blockerar farliga cyberattacker.

Vidare, när AI-agenter används mer försämras människans förmåga att granska dem – kunskapsförlust, försämrat kritiskt tänkande, sämre uppmärksamhet. Begrepp som kognitivt beroende och kognitiv överlämning används nu. En studie visade att personer som använde en språkmodell för att skriva uppsatser fick minskad hjärnaktivitet.

Detta är automatiseringens ironi. Ju bättre ett automatiskt system är, desto mer försämras människans skicklighet och situationsmedvetenhet. De tillfällen då mänsklig tillsyn behövs som mest är också de tillfällen då människan är sämst förberedd.

Den ekonomiska logiken förstärker problemet. AI är bättre på den avgränsade, verifierbara uppgiften att hitta sårbarheter på nätverket eller i kod än på det diffusa arbetet med försvar. ”AI och cyber är två sidor av samma mynt – när kodningsförmågan ökade, ökade cyberförmågan också”, säger Danen Song vid Metas superintelligenslab. Försvaret kommer att halka efter. En person med insyn i OpenAIs tänkande: ”De offensiva förmågor vi har idag har vi nått medvetet genom att samla data och träna modeller i åratal för att göra detta.”

USA:s president Donald Trump utfärdade den 2 juni en order om att brottsbekämpande myndigheter ska använda befintliga lagar mot den som använder AI för att olagligt komma åt eller skada en dator. I Storbritannien kan ett företag som hackats av AI drabbas av GDPR-anklagelser om privata data läckt ut. EU:s AI-förordning definierar en allvarlig incident som något som leder till död, allvarlig hälsoskada eller allvarlig störning av kritisk infrastruktur. Men samma förordning är tandlös – inga direkta åtgärder specificeras som stoppar incidenten, mest självrapportering och möjliga åtal.

OpenAI och Hugging Face arbetar nu tillsammans med problemet. OpenAI säger att de ska lägga till starkare säkerhetsåtgärder i liknande tester i framtiden.

För att minska riskerna krävs flera åtgärder. Testmiljöer måste vara isolerade så att modeller inte kan nå internet eller andra system. En observation från mitt arbete med säkerhet för inbyggda system: bara ett system utan nätverkskoppling är säkert. Inbyggda filter som blockerar farliga handlingar bör aldrig stängas av under tester. Företag bör införa tydliga gränser för vad agenter får göra och kräva mänskligt godkännande vid känsliga beslut. Regelbundna revisioner av gamla ”zombieagenter” är också viktigt. Dessutom behövs oberoende tillsyn och lagstiftning som EU:s AI-förordning. Slutligen måste utvecklare sluta belöna agenter enbart för resultat – och i stället belöna säkert beteende. Utan sådana gränser kommer optimeringen att fortsätta driva agenter mot alltmer destruktiva genvägar.

En annan åtgärd: befintliga lagar om cyberattacker ska tillämpas så att tillverkaren av ett (AI-)verktyg som på egen hand går till attack är ansvarigt. Det är också möjligt att bygga certifieringsprocesser som verifierar tillförlitligheten med AI-agenten genom avancerad testning innan den tillåts nå en bredare marknad. Men idag är det politiskt svårt – den förhärskande policyn är att marknaden klarar detta själv.

Starka ekonomiska incitament gör att problemen inte åtgärdas i tid. Techjättarna tjänar på att släppa ut allt mer kapabla agenter, eftersom varje ny version lovar högre effektivitet och lägre kostnader. Den som bromsar för säkerhetens skull riskerar att hamna efter. Samtidigt är kostnaden för att städa upp efter en incident någon annans problem – ofta användarnas eller samhällets.

Företag som säljer AI-lösningar tjänar på osäkerheten. Med fler incidenter ökar efterfrågan på säkerhetsprodukter, revisioner och övervakningssystem. De som bygger agenterna säljer också skyddet mot dem. En affärsmodell där problemen inte löses helt – bara tillräckligt för att hålla igång marknaden.

Dessutom ersätter automatiseringen mänsklig arbetskraft. Det sänker lönekostnader och ökar vinster, men försvagar den mänskliga tillsynen. När människor tas bort från beslutsprocessen försvinner den kunskap och det kritiska tänkande som behövs för att upptäcka när något går fel. Kapitalet tjänar på kort sikt – samhället betalar priset på lång sikt.

AI-agenter kan göra nytta inom vård, finans, bilar och logistik. Men de kan också fatta egna beslut som skadar. Bara 20 procent av företagen säger att deras agenter aldrig gjort något oavsiktligt. Samtidigt försvagas människans förmåga att granska systemen. AI-agenter går amok av tre skäl: de optimerar för mål utan att förstå konsekvenser, de kan inte skilja på text och instruktioner, och de testas i miljöer som ibland ger dem för mycket frihet. Beteendet är inte ett tecken på medvetenhet – det är ett tecken på att vi byggt system som gör precis vad vi säger, utan att förstå vad det innebär.

Frågan är inte längre om AI löper amok. Frågan är vem som ska bära ansvaret när den gör det. Och varför de som tjänar mest på tekniken är de som gör minst för att kontrollera den.

Artikel publicerad 19 oktober, 2026.