Varför stora språkmodeller (ännu) kanske inte räcker till för att rädda världen

Stora språkmodeller (LLM) tog världen med storm efter att OpenAI lanserade sin GPT-motor (Generative Pre-trained Transformer) och introducerade ChatGPT i november 2022. På bara två månader nådde ChatGPT en betydande milstolpe med 100 miljoner aktiva användare per vecka, vilket väckte uppmärksamhet hos ledande aktörer inom näringsliv och teknik i olika branscher.

Även om allt fler användare idag är ivriga att integrera LLM:er i sin verksamhet kräver tekniken, i sin nuvarande form, fortfarande omfattande forskning och utveckling för att uppnå optimal prestanda. En nyligen genomförd undersökning bland 150 ledande befattningshavare från 29 länder visade att 58 % av företagen experimenterar med LLM:er, och siffran ser ut att växa ytterligare – vilket understryker behovet av ett paradigm för snabbare utveckling.

På kort tid har LLM:er idag fått bred tillämpning inom olika segment – från automatisering av kundtjänst till testautomatisering och validering. De underliggande systemen, inklusive Natural Language Processing (NLP), står dock fortfarande inför en rad begränsningar. Här utforskar vi gränserna och försöker identifiera vad framtiden har i sitt sköte.

Även om LLM:er onekligen har fångat fantasin hos företag och användare världen över, är de inte utan vissa kritiska begränsningar. Dessa inkluderar:

Inbäddade fördomar och partiskheter i data

LLM:er är utformade för att skapa ett språk som känns naturligt för människor, men inte nödvändigtvis för att tillhandahålla korrekt information. Detta kan leda till partiskhet och felaktiga resultat om modellen tränas på skev data, vilket resulterar i en tendens att ”hallucinera” – det vill säga generera övertygande men faktamässigt felaktiga utdata.

Organisationer måste därför se till att deras modeller tränas på opartiska data och verifiera LLM-förutsägelserna mot faktiska företagsdata.

Ett exempel på detta observerades i Googles AI-chattbot, Bard, som felaktigt inkluderade icke-existerande upptäckter gjorda av James Webb-rymdteleskopet i sina svar. Detta fel påverkade Googles aktievärde avsevärt och orsakade en förlust på 100 miljarder dollar efter att det uppmärksammats under en live-demonstration. I ett annat fall användes ChatGPT i ett rättsfall för att hänvisa till rättsliga prejudikat som inte existerade, vilket belyser riskerna med att förlita sig på information genererad av stora språkmodeller utan ordentlig verifiering.

Datasäkerhet och integritet

LLM-modeller lär sig från enorma datamängder, som kan innehålla privat eller konfidentiell information såsom personuppgifter, affärshemligheter eller uppgifter om immateriella rättigheter. Följaktligen kan dessa modeller oavsiktligt avslöja eller läcka sådan information under textgenerering eller -bearbetning. Ett välkänt sydkoreanskt elektronikföretag drabbades till exempel av dataläckage när en ingenjör använde ChatGPT för att korrigera fel i chipkoden. I en annan incident kopierade en annan anställd koden för felupptäckt till ChatGPT.

Dessa fall understryker risken: om känslig information delas med en offentlig LLM kan den införlivas i dess träningsdata och bli åtkomlig med specifika inmatningar. Säkerhetsexperter varnar för denna fara och rekommenderar att man noga överväger vilken information som delas med LLM:er. När det gäller att skydda data är det säkrare att driva Llamma lokalt än att använda GPT via OpenAI:s molntjänst.

Promptinjektioner

Promptinjektion är ett cybersäkerhetsproblem där hackare strategiskt manipulerar indata för att påverka LLM:s svar eller åtgärder. Till exempel kan cyberbrottslingar som subtilt ändrar frågor i kundtjänstchattbottar mata in frågor som ser normala ut men bädda in kommandon som lurar chattbottarna att avslöja känslig användardata. Detta kallas direkt promptinjektion, där angriparen direkt modifierar modellens prompter för att få tillgång till data som annars skulle vara otillgängliga.

Vid indirekt promptinjektion kan hackaren däremot infoga skadlig kod i ett dokument. När en LLM bearbetar detta dokument, kanske för att sammanfatta innehållet, kan den dolda koden vilseleda LLM:en till att generera falsk eller skadlig information.

Riskerna med promptinjektion sträcker sig från obehöriga dataläckor till manipulation av automatiserade beslut – vilket understryker vikten av att skydda LLM:er mot sådana sårbarheter.

Utvecklings- och träningskostnader

Även om offentliga LLM:er har flera nackdelar medför etableringen av en egenhostad LLM sina egna utmaningar, främst av ekonomisk karaktär. Att utveckla och träna LLM:er, såsom GPT-3, vilket kostade OpenAI över 4,6 miljoner dollar, kräver betydande datamängder och datorkraft, vilket gör det till en kostsam investering för vilket företag som helst.

Dessutom innebär driftsättning och underhåll av en egenhostad LLM mer än bara den initiala investeringen i specialiserad hårdvara och mjukvara, som kan uppgå till cirka 60 000 dollar över fem år för grundläggande installationer och upp till 95 000 dollar för skalbara alternativ. De ofta oöverkomliga kostnaderna skulle även omfatta utgifter för att anställa ett team av dataforskare och supportpersonal, bygga upp en lämplig driftsmiljö för LLM:en samt täcka löpande underhållskostnader.

Miljöpåverkan

Datacenter, som är nödvändiga för att hysa de servrar som krävs för språkbehandlingsmodeller, förbrukar enorma mängder energi och bidrar avsevärt till koldioxidutsläppen. Modeller som ChatGPT har en betydande miljöpåverkan, med ett uppskattat årligt koldioxidutsläpp på 8,4 ton.

En annan studie från University of California belyste AI-modellernas vattenavtryck. Den visade att träningen av Microsofts GPT-3-modell ledde till en förbrukning av cirka 700 000 liter färskvatten i datacenter. Denna mängd motsvarar den vattenmängd som krävs för att tillverka hundratals bilar. Träningsprocessen genererar betydande mängder värme, vilket kräver stora mängder färskvatten för kylning.

I takt med att språkmodellerna blir större kommer det därför att bli avgörande för en hållbar utveckling att hitta sätt att minska deras miljöpåverkan. Det är dock viktigt att notera att de miljö- och hållbarhetsutmaningar vi står inför inte är unika för stora språkmodeller (LLM), utan är utbredda inom hela molnbaserad databehandlingsteknik.

Den snabba tillväxten och den allt snabbare användningen av LLM:er signalerar en omvälvande förändring inom olika branscher och segment. Det rekommenderas att använda LLM:er med försiktighet i viktiga projekt och se till att de granskas av experter. Modellerna är dock fortfarande idealiska för kreativa uppgifter som inte kräver samma nivå av fokus som i uppdrag av avgörande betydelse.

När vi går vidare är det avgörande att balansera innovation med etiska överväganden och säkerställa att LLM:er utvecklas och används på ett sätt som gynnar samhället samtidigt som de stödjer företagen. Vår resa mot att övervinna dessa begränsningar måste därför vara en gemensam insats som involverar utvecklare, användare och beslutsfattare. Diskussionen bör omfatta orsakerna till skapandet av stora språkmodeller, granska deras nuvarande status och staka ut en kurs för deras framtida utveckling och integration.

Genom att ta itu med dessa utmaningar direkt kan vi utnyttja LLM:ernas fulla potential för att skapa mer välgrundade, rättvisa och hållbara lösningar för vägen framåt.