Ollama unter Windows einrichten

 Ollama ist eine Software, die die Ausführung von KI auf dem eigenen PC ermöglicht. Die Einrichtung ist relativ einfach. Zuerst muss die Software heruntergeladen und installiert werden:

ollama.com

Nun kann Ollama über die Eingabeaufforderung (CMD) genutzt werden:

ollama help listet alle Befehle auf. Der Befehl ollama list zeigt die installierten KI's an. Mit  ollama run xxx kann man eine KI installieren (bzw starten wenn diese schon installiert ist). Für xxx muss man den Namen der KI eingeben. Die gewünschten KI-Modelle findet man auf der Seite von Ollama. Hier ist ein Beispiel von der Ollama-Seite:

Gibt man nun ollama run llama3.2 ein, wird diese KI installiert, der Download-Fortschritt wird angezeigt. 

Bei manchen KI's gibt es noch Leistungsabstufungen. Diese werden mit Werten wie 7b oder 32b angegeben. Bei der KI deepseek-r1 sind diese Abstufungen vorhanden, hier muss dann der Befehl mit einem Doppelpunkt ergänzt werden: ollama run deepseek-r1:32b

Kleine Pi-mal-Daumen-Regel: je größer der b-Wert, umso größer ist der Download und die benötigte Rechenleistung.

Ist die KI installiert, kann man in der Eingabeaufforderung mit ihr chatten. Eine angenehmere Nutzung ist allerdings ein Browser-Plugin. Ich kam mit Page Assist sehr gut klar, gibt es für Chrome und Firefox. Sofern der Ollama-Dienst auf dem PC läuft, kann man hier mit der selbst-gehosteten KI chatten.