Die meisten „AI-Integrationen" sind API-Wrapper um ChatGPT. Das funktioniert — aber schickt jeden Prompt, jedes Dokument, jedes Kunden-Gespräch zu einem US-Anbieter. Für Bereiche wie Recht, Medizin, Public oder F&E ist das keine Option.
Weil Sie sich einem Anbieter ausliefern, der eigenständig Preise, Nutzungs-Bedingungen, API-Verhalten und Regionen ändern kann — ohne Ihr Zutun. In den letzten zwei Jahren haben alle großen LLM-Anbieter Preisanpassungen, Modell-Abkündigungen und Rate-Limits durchgesetzt, auf die Kunden nicht reagieren konnten außer zu zahlen.
On-Prem-LLMs auf Ihrem Server sind eine Versicherung: Ihre Kosten bleiben planbar (Hosting statt Token-Roulette), Ihre Daten bleiben im Haus, Ihre Features sind nicht über Nacht kündbar. Das ist keine Ideologie — das ist Business Continuity Management.
Mistral Small 3.1 und Qdrant on-prem, gespeist aus Ihren Verträgen, Tickets und Wiki-Artikeln. Keine Daten an OpenAI, keine Token-Kosten pro Abfrage — nur Ihre Infrastruktur.
Mistral Small 3.1 als Standard-Setup, Codestral für Code-Aufgaben, Voxtral für Voice-to-Text. Alternativ Llama 3.3 (8B, 70B) oder Qwen 2.5 — alle offen gewichtet, kommerziell nutzbar. Inferenz via vLLM (Performance), Ollama (einfach) oder llama.cpp (minimal).
Dokumente → Chunking → Embeddings → Qdrant → Hybride Suche (BM25 + Vektor) → LLM mit Kontext. Deutsch-optimierte Embeddings (bge-m3, e5-mistral).
Unsloth LoRA-Training auf Mistral Small 3.1 oder Codestral — für sehr spezialisierte Aufgaben (Branchen-Sprache, Formate, Stil). Auf einer H100 in wenigen Stunden, auf einer 24-GB-Karte über Nacht.
Langfuse self-hosted für Request-Tracing, Token-Tracking, Eval-Runs. Prometheus + Grafana für Infrastruktur. Alerts via ntfy oder Mattermost.
Ja — im Standard-Setup läuft das komplette LLM auf Ihrem Server (oder auf einem meiner GPU-Server in Deutschland). Es gibt kein Fallback zu externen APIs, es sei denn, Sie konfigurieren das explizit für unkritische Use-Cases.
Für strukturierte Domänen-Aufgaben (Dokumenten-Extraktion, Zusammenfassung, RAG-Antworten) ja — teils besser durch Fine-Tuning. Für kreatives Long-Form-Writing: Knapp dahinter. Wir evaluieren im Projekt-Kontext. Für Code-spezifische Workflows nutze ich Codestral, für Voice-to-Text Voxtral.
Nein. Dedizierte GPU-Server (in Deutschland) ab ~200 €/Monat sind der Standard-Weg. Wer lieber im eigenen Haus betreibt: meine KI-Werkstatt-Pakete liefern fertige On-Prem-Systeme ab 3.499 €. Eigene Hardware nur für sehr hohe Last oder bestimmte Compliance-Anforderungen.
GPU-Hosting 30-300 €/Monat je nach Modell-Größe und Last, mit socket-activation deutlich reduzierbar bei geringer Last. Plus Monitoring und Updates. Typisch günstiger als OpenAI-Rechnungen bei gleichem Volumen — und kosten-predictable.
Über REST, GraphQL oder WebSocket. Standard-Patterns: Chat-Widget, Dokument-Upload, Batch-Verarbeitung, Webhooks. Auch als MCP-Server (Model Context Protocol) möglich.
On-Prem-LLMs sind bezüglich Transparenz einfacher zu dokumentieren. Für Hochrisiko-Anwendungen vermittle ich KI-Rechtsanwält:innen — juristische Einschätzung ist nicht mein Metier.
Drei Kanäle, ein Ansprechpartner. Antwort werktags innerhalb von 24 Stunden.