Skill 05
Lokale KI-Integration
KI, bei der die Daten das Haus nicht verlassen – und die nur darf, was sie soll.
Sprachmodelle laufen inzwischen gut auf einer einzelnen Grafikkarte. Damit lassen sich Assistenten bauen, die E-Mails zusammenfassen, Dokumente durchsuchen oder Sprachnachrichten beantworten, ohne dass ein Byte bei einem US-Anbieter landet.
Der schwierige Teil ist nicht das Modell, sondern die Kontrolle: Welche Werkzeuge darf der Agent benutzen, an wen darf er senden, was passiert, wenn eine gelesene Nachricht ihm Anweisungen gibt? Darauf lege ich den Schwerpunkt.
Was ich mache
- Lokale Sprachmodelle einrichten und an eigene Daten anbinden
- Assistenten für Telegram, E-Mail und interne Werkzeuge
- Sprache rein und raus: Whisper und Piper lokal
- Sicherheitskonzept gegen Prompt-Injection und Datenabfluss
- Dokumente und Scans per OCR durchsuchbar machen
Tech-Stack
| Ebene | Technologie | Warum |
|---|---|---|
| Modelle | Ollama (z. B. Qwen3) | austauschbar, lokal, ohne API-Kosten |
| Sprache | Whisper (STT), Piper (TTS) | Sprachnachrichten verstehen und beantworten |
| Dokumente | Tesseract, pypdf | PDFs und Scans als Text |
| Steuerung | eigene Policy-Engine in Python | deny-by-default, Freigaben je Werkzeug |
| Betrieb | Docker, optional GPU | ein Stack, der auf eigener Hardware läuft |
Projekte dazu
Ähnliches vor?
Erzählen Sie mir per E-Mail, was Sie vorhaben. Das Erstgespräch ist kostenlos.