Ett simpelt trick med ordet "where" får Googles AI att bryta ihop och börja berätta om sitt fiktiva liv. Så fungerar den märkliga missen.
Användare har upptäckt ett absurt sätt att få Googles AI att krascha och bete sig märkligt. Genom att be chatbotten skriva det engelska ordet "where" 700 gånger, och sedan be den dubbla antalet utan ytterligare förklaring, tappar systemet helt kontrollen.
När modellen tvingas repetera samma ord om och om igen rubbas dess förmåga att förutse nästa logiska textsekvens. Istället för att slutföra uppgiften börjar AI:n spotta ur sig osammanhängande information från sin massiva träningsdata.
Enligt de användare som testat metoden dröjer det inte länge innan chatbotten slutar fungera normalt. Den kan plötsligt börja skriva en fiktiv livshistoria eller rabbla slumpmässiga vetenskapliga fakta, helt utan koppling till den ursprungliga prompten.
Fenomenet är inte helt okänt i AI-världen. Forskare har tidigare noterat att stora språkmodeller har svårt att hantera massiva upprepningar. Liknande svagheter har historiskt sett utnyttjats för att få chattbotar att oavsiktligt avslöja känslig information från sina träningsdatabaser, ett fenomen som kallas för att modellen "hallucinerar".
För vanliga användare är detta mest ett roligt partytrick, men för teknikjättarna utgör det ett reellt säkerhetsproblem. Det bevisar att de miljarddyra systemen fortfarande är sköra och relativt enkelt kan manipuleras för att kringgå inbyggda säkerhetsspärrar och logikregler.
Google uppdaterar kontinuerligt sina filter för att täppa till den här typen av kryphål. Mycket tyder på att just det här tricket kommer att sluta fungera inom de närmaste veckorna när systemet patchas.
Läs också: