Die meisten „AI-Integrationen" sind API-Wrapper um ChatGPT. Das funktioniert — aber schickt jeden Prompt, jedes Dokument, jedes Kunden-Gespräch zu einem US-Anbieter. Für Bereiche wie Recht, Medizin, Public oder F&E ist das keine Option.
Weil Sie sich einem Anbieter ausliefern, der eigenständig Preise, Nutzungs-Bedingungen, API-Verhalten und Regionen ändern kann — ohne Ihr Zutun. In den letzten zwei Jahren haben alle großen LLM-Anbieter Preisanpassungen, Modell-Abkündigungen und Rate-Limits durchgesetzt, auf die Kunden nicht reagieren konnten außer zu zahlen.
On-Prem-LLMs auf Ihrem Server sind eine Versicherung: Ihre Kosten bleiben planbar (Hosting statt Token-Roulette), Ihre Daten bleiben im Haus, Ihre Features sind nicht über Nacht kündbar. Das ist keine Ideologie — das ist Business Continuity Management.
Die meisten AI-Features sind API-Wrapper: Ihre Daten fließen an OpenAI, Ihre Kosten an AWS, Ihre Schrems-II-Compliance an den Datenschutzbeauftragten. Es geht auch anders. Local-first, DSGVO-safe, mit voller Kontrolle über Modell und Daten.
Stable Diffusion XL · Line-Art LoRA · Hetzner GPU · text-prompt-basiert
Llama 3.3 (8B, 70B), Mistral Small/Large, Qwen 2.5 — alle offen gewichtet, lizenzrechtlich für kommerziellen Einsatz freigegeben. Inferenz via Ollama (einfach), vLLM (Performance) oder llama.cpp (minimal).
Dokumente → Chunking → Embeddings → Qdrant → Hybride Suche (BM25 + Vektor) → LLM mit Kontext. Deutsch-optimierte Embeddings (bge-m3, e5-mistral).
Unsloth LoRA-Training auf Llama 3.3 oder Mistral — für sehr spezialisierte Aufgaben (Branchen-Sprache, Formate, Stil). Auf einer H100 in wenigen Stunden, auf einer 24-GB-Karte über Nacht.
Langfuse self-hosted für Request-Tracing, Token-Tracking, Eval-Runs. Prometheus + Grafana für Infrastruktur. Alerts via ntfy oder Mattermost.
Ja — im Standard-Setup läuft das komplette LLM auf Ihrem Server (oder meiner Hetzner GPU in Falkenstein). Es gibt kein Fallback zu externen APIs, es sei denn, Sie konfigurieren das explizit für unkritische Use-Cases.
Für strukturierte Domänen-Aufgaben (Dokumenten-Extraktion, Zusammenfassung, RAG-Antworten) ja — teils besser durch Fine-Tuning. Für kreatives Long-Form-Writing: Knapp dahinter. Wir evaluieren im Projekt-Kontext.
Nein. Hetzner GPU-Dedicated-Server ab ~200 €/Monat sind der Standard-Weg. Eigene Hardware nur für sehr hohe Last oder bestimmte Compliance-Anforderungen.
GPU-Hosting 30-300 €/Monat je nach Modell-Größe und Last, mit socket-activation deutlich reduzierbar bei geringer Last. Plus Monitoring und Updates. Typisch günstiger als OpenAI-Rechnungen bei gleichem Volumen — und kosten-predictable.
Über REST, GraphQL oder WebSocket. Standard-Patterns: Chat-Widget, Dokument-Upload, Batch-Verarbeitung, Webhooks. Auch als MCP-Server (Model Context Protocol) möglich.
On-Prem-LLMs sind bezüglich Transparenz einfacher zu dokumentieren. Für Hochrisiko-Anwendungen vermittle ich KI-Rechtsanwält:innen — juristische Einschätzung ist nicht mein Metier.
Drei Kanäle, ein Ansprechpartner. Antwort werktags innerhalb von 24 Stunden.