Van docent naar data-baas: draai AI lokaal en houd het veilig én krachtig

Er zijn allerlei redenen om af te willen van AI-taalmodellen (large language models ofwel LLM’s) die ergens in een groot, water- en stroomslurpend datacentrum draaien. Voor de een is dat de belasting voor het milieu, voor de ander is dat privacy en een derde wil niet afhankelijk zijn van wat de techreuzen op dit gebied allemaal uitvoeren, zonder dat je daar zicht op heb.

Hét alternatief is het lokaal, dat wil zeggen op je eigen laptop of pc, draaien van een LLM. De grote voordelen zijn dat je niet het internet op hoeft, je van alles kunt aanbieden (dus ook gevoelige data) zonder dat het gebruikt wordt voor verdere training, en dat je het milieu niet of nauwelijks belast.

De nadelen echter zijn dat je een behoorlijk krachtige pc of laptop nodig hebt (qua specificaties vergelijkbaar met een goede gaming-pc of -laptop) om een model van enige omvang te draaien en dat je er zelf voor moet zorgen dat je nieuwe versies installeert als je die wil gebruiken.

En toen was daar Gemma 3 van Google (voor de volledigheid: gebaseerd op Gemini 2.0). Dit model is er in vier versies, laten we zeggen van eenvoudig tot geavanceerd, waarbij de eerste twee versies prima draaien op de meeste werklaptops (als dat mag natuurlijk en anders een vergelijkbare). Het nadeel van de eenvoudigste versie is dat deze niet multimodaal is (dus alleen tekst aankan). Voor deze blog ga ik daarom uit van de tweede in de rij en dat is Gemma 3 4B. Je kan daarin ook documenten uploaden en er vragen over stellen.

Hoe installeer en gebruik je Gemma? Het lijkt een ingewikkelde klus, maar dat valt echt mee, mits je de stappen hieronder een-voor-een uitvoert.

Wat heb je nodig?

• Ollama: dit is software die op je pc/laptop LLM’s kan draaien;
• Een LLM, in dit geval Gemma 3 4B;
• Een extensie voor Chrome om te kunnen prompten in een omgeving die er ongeveer hetzelfde uitziet als die van andere LLM’s, zoals ChatGPT of CoPilot.

Stap 1: Ollama installeren.

1. Ga naar de website Ollama.com.
2. Klik op Download, kies het gewenste OS (voor de meesten zal dat Windows zijn) en begin met downloaden.
3. Als dat klaar is, ga je naar je verkenner en je kijkt in de map Downloads. Daar zie je OllamaSetup staan: daar klik je dubbel op om het installatieproces te beginnen. Volg de instructies en… klaar. Je ziet onderin je scherm, als je klikt op dat dakje, het logo van Ollama staan. Mooi, stap 1 is klaar.

Stap 2: Gemma 3 4B installeren

1. Klik op het window-icoon dat op je werkbalk onderin je scherm staat.
2. Klik in de zoekbalk en typ cmd. Je ziet Command Prompt verschijnen en daar klik je op. Je krijgt een zwart scherm met een beetje tekst en een knipperende cursor.
3. Je typt vervolgens ollama pull gemma3:4b en drukt op enter. Nu wordt het LLM gedownload en geïnstalleerd (duurt even). Als het klaar is krijg je een lijstje met gegevens en als laatste het woord succes. Zo, stap 2 is ook voltooid.

Stap 3: De extensie voor Chrome

Open Chrome (als je dit niet hebt, moet je Chrome nog even installeren) en kopieer de volgende link naar de adresbalk:

https://chromewebstore.google.com/detail/page-assist-a-web-ui-for/jfgfiigpkhlkbnfnbobbkinehhfdhndo?hl=en-US&utm_source=ext_sidebar&pli=1

Op de pagina die opent, klik je op de button voor het toevoegen van de extensie (rechtsboven). De extensie wordt nu toegevoegd.

In Chrome zie je rechts van de zoekbalk een puzzelstukje en daarin is de extensie te vinden (Page assist). Als je daarop klikt opent een webpagina en daarin kies je het model (er is er maar eentje) en hoppakee: aan de slag.