Svenska Språkmodeller: AI-Modeller tränade på svensk data

Artificiell intelligens (AI) har redan börjat revolutionerat vår vardag, och språkmodellerna står i centrum av denna förändring, bland annat genom att möjliggöra kommunikation mellan människor och maskiner.

Men, vi människor talar många språk, och det är därför avgörande att det finns AI-modeller som är anpassade till de unika aspekterna av varje språk, inklusive svenska.

Denna artikel syftar därmed på att introducera språkmodeller tränade på svenska data, samt diskutera deras potential och användningsområden.

AI och Språkmodeller

Artificiell intelligens (AI) refererar till datorsystem som kan utföra uppgifter som normalt kräver mänsklig intelligens, såsom att känna igen mönster, lära sig från erfarenheter och fatta beslut.

Ett centralt område inom AI är NLP, vilket står för Natural Language Processing. Detta är det område inom AI som fokuserar på interaktionen mellan datorer och människor genom naturligt språk.

En viktig del inom NLP är också språkmodeller, vilket är modeller som kan generera text och hjälpa maskiner att förstå språk på ett sätt som liknar människors sätt att göra det på.

När det kommer till språkmodeller är det däremot viktigt att de är tränade på data från det specifika språk de är tänkta att hantera.

Varje språk har unika egenskaper, och för att en språkmodell ska vara effektiv, måste den kunna förstå och generera text som är grammatiskt korrekt och relevant.

Därför är det avgörande att utveckla språkmodeller som är skräddarsydda för olika språk, inklusive svenska, för att säkerställa att tekniken kan gynna alla, oavsett vilket språk de talar.

I denna artikel kommer vi att gå igenom några av de språkmodellerna som har anpassats för det svenska språket. Vi kommer att dyka ner i BERT, en modell som är känd för sin förmåga att förstå sammanhang i text, samt GPT, som är utmärkt på att generera text.

Vidare kommer vi att utforska några andra modeller som Sentence-BERT, en variation av BERT specialiserad på att förstå meningslikheter, och även titta på andra modeller som BART och RoBERTa.

BERT och dess Svenska Varianter

Om vi börjar titta på BERT, eller Bidirectional Encoder Representations from Transformers, så är det en AI-modell som har revolutionerat språkförståelse inom maskininlärning.

Genom att använda Transformer-arkitekturen kan BERT bearbeta text i båda riktningarna samtidigt, vilket gör att den har en djupare förståelse av språkets sammanhang och nyanser.

Denna förmåga gör BERT effektiv för många olika uppgifter som Named Entity Recognition (NER), sentimentanalys, och textklassificering.

Nedan går vi igenom 4 modeller som kan användas med svensk textdata:

• KB-BERT: KB-BERT är en svensk språkmodell som har tränats på texter från olika källor som böcker, nyheter, forum och Wikipedia. Modellen har tränats på totalt 3 497 miljoner ord (18,3 GB), och huvuddelen av texten kommer från digitaliserade tidningar.
• Multilingual-BERT: Multilingual-BERT är en allmän modell som har tränats på texter från Wikipedia på 104 olika språk Modellen fungerar särskilt bra på språk som är typologiskt lika och har förmågan att hantera olika skript utan lexikal överlappning. M-BERT har uppvisat goda resultat för flera språk, inklusive svenskan.
• AF-AI: AF-AIs SweBERT är en svensk BERT-modell utvecklad av Arbetsförmedlingen. Den har tränats på svenska Wikipedia med cirka 2 miljoner artiklar och 300 miljoner ord.
• SweDeClin-BERT: SweDeClin-BERT är en annan svensk BERT-modell som har utvecklats med fokus på den kliniska och medicinska domänen. Den har tränats på över 2 miljoner elektroniska patientjournaler, vilket gör den kraftfull för att hantera medicinsk text.

Efter att ha testat dessa olika modeller kan jag konstatera att KB-BERT är särskilt effektiv när det gäller att hantera ett brett spektrum av svenska texter.

Medan om du arbetar med kliniska data, är SweDeClin-BERT det bästa alternativet. Under mitt masterarbete, där vi fokuserade på att arbeta med klinisk data, fann vi exempelvis att SweDeClin-BERT presterade bäst för Named Entity Recognition.

GPT och dess Svenska Varianter

GPT, eller Generative Pre-trained Transformer, är en AI-modell som är känd för sin förmåga att generera sammanhängande och meningsfulla texter.

Till skillnad från BERT, som är en encoder-modell, är GPT en decoder-modell som genererar sekvenser ord för ord från vänster till höger. GPT har blivit särskilt populär för sina imponerande resultat inom textgenerering, översättning och genom verktyg såsom ChatGPT.

Nedan går vi igenom några modeller som kan användas med svensk textdata:

• GPT-SW3: En av de mest notabla modellerna som är specifikt tränad på svensk data är GPT-SW3. GPT-SW3 är en stor språkmodell utvecklad av AI Sweden. Modellen är tränad på en omfattande dataset med 320 miljarder tokens på svenska, norska, danska, isländska, engelska samt programmeringskod.
• Flerspråkiga GPT-modeller: Förutom GPT-SW3, finns det också flera flerspråkiga modeller såsom GPT-3 och GPT-4 som har visat mycket goda resultat för svenskt språk. Även om de inte är enbart tränade på svenska, har deras enorma datamängd och kapacitet gjort dem kapabla att hantera svenska texter effektivt.

Efter att själv har testat flera olika GPT-modeller har jag sett att GPT-SW3 visar potential när det gäller att arbeta med svensk text. Det är också roligt att det finns en svenskbaserad modell som presterar på den nivån.

Dock, när det kommer till ren textgenerering och förståelse, är det svårt att slå de mer avancerade GPT-modellerna som GPT-4 genom ChatGPT.

Andra AI-Modeller och deras Svenska Varianter

Förutom BERT och GPT, finns det också andra AI-modeller som har gjort avtryck inom naturlig språkbehandling. Några exempel på dessa modeller inkluderar RoBERTa, Sentence-BERT och BART.

RoBERTa är en variation av BERT som fokuserar på att optimera modellens träning genom att bland annat eliminera vissa begränsningar i BERT:s originalarkitektur.

Sentence-BERT är en annan variant av BERT som är optimerad för “sentence embeddings”. Detta gör modellen mer lämpad för vissa uppgifter som att mäta likheten mellan olika meningar.

BART, å andra sidan, är en sekvens-till-sekvens modell som kan användas för både textgenerering och textförståelse. Faktum är att BART använder sig av en hybridarkitektur som kombinerar styrkan hos BERT och GPT.

Inom den svenska kontexten finns det också varianter av dessa modeller som är anpassade för det svenska språket. Till exempel, 'roberta-swedish', som är en anpassning av RoBERTa. 'Sentence-bert-swedish-cased' är en variant av Sentence-BERT optimerad för svenska. Slutligen har vi 'bart-base-swedish-cased', en variant av BART anpassad för svenska.

Om man på något sätt ska sammanfatta artikeln så skulle jag säga att jag tycker att det är kul att det ändå finns ett relativt stort utbud av svenska språkmodeller, speciellt för BERT, även om jag gärna också hade sett att det fanns ännu fler.

Jag hade bland annat velat se att det fanns fler domänspecifika modeller, likt SweDeClin-BERT för den kliniska sektorn, eftersom det skulle vara till stor nytta inom mer specialiserade områden. Detta är också något som jag hoppas kommer att komma i framtiden.