Dein eigenes ChatGPT: Lokal, Privat & Kostenlos mit Ollama

Cloud-KI wie ChatGPT oder Claude ist beeindruckend, hat aber zwei große Nachteile: Sie kostet oft Geld (Abo) und deine Daten landen auf fremden Servern. Im Jahr 2026 ist die Hardware jedoch so leistungsstark, dass du dein eigenes "Gehirn" ganz einfach zu Hause hosten kannst.

In dieser Anleitung zeigen wir dir, wie du mit Ollama und Open WebUI eine KI-Station aufbaust, die genauso komfortabel wie ChatGPT ist – aber zu 100% auf deiner Hardware läuft.

[!IMPORTANT] Deine Daten verlassen niemals dein Netzwerk. Was du fragst, bleibt privat.

Die Architektur

Ollama: Das Backend, das die großen Sprachmodelle (LLMs) wie Llama 3 oder Mistral ausführt.
Open WebUI: Eine wunderschöne Benutzeroberfläche, die im Browser läuft und fast identisch mit ChatGPT aussieht.

Hands-On: Die Installation

Wir nutzen Docker, um beide Komponenten in Sekunden zu starten.

Schritt 1: Das Verzeichnis anlegen

Erstelle einen dedizierten Ordner für dein AI-Projekt:

mkdir ~/ai-station && cd ~/ai-station

Schritt 2: Docker Compose Setup

Erstelle die Datei ~/ai-station/docker-compose.yml mit folgendem Inhalt:

version: '3.8'

services:
  ollama:
    container_name: ollama
    image: ollama/ollama:latest
    volumes:
      - ollama_data:/root/.ollama
    ports:
      - "11434:11434"
    restart: always
    # Tipp: Wenn du eine NVIDIA GPU hast, füge hier 'deploy' Ressourcen hinzu!

  open-webui:
    container_name: open-webui
    image: ghcr.io/open-webui/open-webui:main
    volumes:
      - open-webui_data:/app/backend/data
    ports:
      - "3000:8080"
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    depends_on:
      - ollama
    restart: always

volumes:
  ollama_data:
  open-webui_data:

Schritt 3: Starten

Starte die KI-Station mit folgendem Befehl im Ordner ~/ai-station:

docker compose up -d

[PLATZHALTER: Screenshot des Terminals nach dem erfolgreichen Start der Container]

Konfiguration: Ein Modell laden

Nach dem Start ist Ollama noch "leer". Du musst ihm sagen, welches Gehirn er nutzen soll.

Öffne im Browser: http://<DEINE-IP>:3000
Erstelle einen lokalen Account (er wird nur auf deinem Server gespeichert).
Gehe in die Einstellungen und lade ein Modell herunter, z.B. llama3.2 oder mistral.

[PLATZHALTER: Screenshot der Open WebUI Oberfläche beim ersten Chat]

Proof of Concept: Die erste Frage

Stelle der KI eine Testfrage, zum Beispiel: "Erkläre mir Quantenphysik wie einem Fünfjährigen."

Verifikations-Schritt: Prüfe die Auslastung deines Servers während der Antwort. Wenn du eine GPU hast, sollte diese aktiv werden. Ohne GPU nutzt Ollama deine CPU, was bei Modellen bis 8B Parametern erstaunlich schnell geht!

Fazit

Glückwunsch! Du hast nun dein eigenes, privates Wissenszentrum.

Nächste Schritte:

Modell-Varianz: Probiere spezialisierte Modelle für Coding oder kreatives Schreiben aus.
RAG (Retrieval Augmented Generation): Lade eigene Dokumente (PDFs) in Open WebUI hoch, damit die KI Fragen zu deinem eigenen Wissen beantworten kann.
Integration: Nutze die Ollama API, um deine lokalen Projekte mit KI-Power zu versorgen.

Viel Erfolg beim Experimentieren mit deiner privaten KI!

User Dashboard