Compliance · Betrieb

Vier Betriebsmodelle

CE-Doc lässt sich auf vier verschiedene Arten betreiben — von voll lokal bis SaaS. Die Wahl bestimmt Hardware-Aufwand, Laufkosten, Datenschutz-Profil und Einstiegshürde. Diese Seite vergleicht die vier Varianten, beschreibt pro Modell den Aufbau und benennt typische Migrations-Pfade.

Schnellüberblick

Modell Hardware LLM-Setup Einmalig Laufend Eignung
A — Voll lokal RTX 5090 (32 GB) Mistral Small + Qwen 3 32B + Qwen 2.5-VL 32B (Vision) 4.000–5.000 € ~380 €/Jahr Strom Air-Gap, Hochsicherheit
B — Cloud-GPU Vast.ai / RunPod gleiche LLMs on demand 0 0,80–1,20 $/h Betrieb Spitzen-Last, Pay-per-Use
C — Eigener Server + Mistral-API Mini-PC oder VPS (CPU) Mistral-API (Frankreich) 200–500 € ~0,10 € pro Akte + 20 €/Mt EU-Hosting, kein GPU-Risiko
D — SaaS EcoHub keine EcoHub-Provider-Mix 0 nach Akte / Abo Pilot, Test, Einstieg

Die vier Modelle sind nicht exklusiv. Ein typischer Lebenszyklus beginnt mit Modell D in der Test-Phase, wechselt nach abgeschlossenem Pilot auf Modell C (eigene Daten-Hoheit ohne GPU-Investition) und geht erst bei hohem Akten-Volumen oder Air-Gap-Anforderung auf Modell A über.

Small-LLM-First — wo es gilt und wo nicht

Für Reasoning (Klassifikation, Slot-Befüllung, Klausel- Bezug, Lektor-Konsistenz) reichen kleine LLMs. Den Großteil der Arbeit leistet der Code-Harness: Lookup-Bibliothek mit Pflicht-Normen-Klauseln, Pflichtsektionen-YAML, semantischer Match-Service. Die LLMs entscheiden nur dort, wo der Code-Pfad nicht weiterkommt. Mistral Small 22B (EU- Modellfamilie) reicht für Sichter und Schreiber. Cross-Provider-Pflicht bei Lektor L4 wird lokal durch ein heterogenes Zweitmodell abgedeckt — Qwen 3 32B (Alibaba) oder Gemma 3 27B (Google).

Für Vision (Schaltpläne, Maschinen-Zeichnungen, gescannte Altdokumente, Foto-Eingänge) reichen Small-Modelle nicht. Die Pipeline arbeitet daher zweistufig: Mistral Small 3.x als multimodaler Default-Klassifikator für einfache Bilder; bei technisch komplexen Diagrammen Eskalation auf ein Large-Vision-Modell — entweder per Cloud-API (Pixtral Large, Sonnet 4.6 Vision, Gemini 2.5 Pro Vision) oder lokal über Qwen 2.5-VL 32B als drittes Modell auf der RTX 5090.

Auf einer RTX 5090 (32 GB VRAM) werden die Modelle sequentiell je nach Pipeline-Phase geladen — Mistral Small (~13 GB Q4) für die Massenarbeit, Qwen 3 32B (~18 GB Q4) für die Lektor-Phase, Qwen 2.5-VL 32B (~19 GB Q4) für Vision-Hardcases. Wechsel-Latenz wenige Sekunden pro Phasen-Übergang.

Modell A

Voll lokal mit RTX 5090

Air-Gap · Branchen mit Daten-Hoheits-Pflicht

Der Koordinator betreibt CE-Doc vollständig auf eigener Hardware. Keine ausgehenden Cloud-Aufrufe; LLM-Inferenz läuft auf einer NVIDIA RTX 5090 im Server-Tower oder Workstation-Format. Mandanten-Daten verlassen die Koordinator-Infrastruktur zu keinem Zeitpunkt.

Architektur

Koordinator-Standort · Air-Gap oder LAN Browser / Mail Koordinator-Arbeitsplatz CE-Doc Portal FastAPI + Frontend Switchboard Provider-Routing je Pipeline-Phase NVIDIA RTX 5090 · 32 GB VRAM · sequentieller Modell-Swap Mistral Small 22B Sichter Schreiber Klassifikation EU · ~13 GB Q4 Qwen 3 32B Lektor L4 Cross-Provider- Konsens Alibaba · ~18 GB Q4 Qwen 2.5-VL 32B Vision-Hardcases Schaltpläne, Foto-Eingänge multimodal · ~19 GB Q4

Hardware

KomponenteSpezifikationPreis
GPUNVIDIA RTX 5090, 32 GB GDDR72.500–3.000 €
CPUAMD Ryzen 9 oder Intel i9, 16+ Kerne500–700 €
RAM64 GB DDR5200–300 €
NVMe2× 2 TB (Mandanten-Daten + Modelle)250–400 €
Netzteil1000 W+ (RTX 5090 zieht 575 W TDP)200–300 €
Gehäuse, Kühlung, Mainboard—400–600 €
Einmalig gesamt4.000–5.300 €
Strom (6 h/Tag aktiver Inferenz, 0,30 €/kWh)—~380 €/Jahr

Setup-Skizze

Einmalige Inbetriebnahme (~1 Arbeitstag)

  1. Server-Hardware aufbauen, Ubuntu Server 24.04 LTS installieren
  2. NVIDIA-Treiber + CUDA 12.6 + cuDNN installieren (NVIDIA Production Branch)
  3. Python 3.12 venv anlegen, AIMOS-Repo klonen (private GitLab oder Tarball-Lieferung)
  4. vLLM oder llama.cpp installieren, drei GGUF-Modelle herunterladen: mistral-small-22b-q4_k_m.gguf (~13 GB), qwen3-32b-q4_k_m.gguf (~18 GB) und qwen2.5-vl-32b-q4_k_m.gguf (~19 GB, multimodal für Vision)
  5. Modell-Hot-Swap konfigurieren: Switchboard lädt Mistral Small als Default, tauscht für Lektor-L4 auf Qwen 3 32B, und für Vision- Hardcases (Schaltpläne, Foto-Eingänge) auf Qwen 2.5-VL 32B (Unload/Load via vLLM-API, 3–6 s pro Wechsel)
  6. Switchboard-Config auf provider: ollama_local umstellen, Aliase fab3_design → qwen3_local, mca_default → mistral_small_local, vision_hard → qwen2_5_vl_local
  7. Portal als systemd-Unit starten, hinter Reverse-Proxy (Caddy / nginx) mit selbst-signiertem TLS-Zertifikat im LAN
  8. Backup-Job einrichten: tägliches rsync auf NAS oder externe Platte

Vorteile

  • Keine Mandanten-Daten verlassen das LAN — auch nicht zu Mistral nach Paris
  • Keine API-Kosten pro Akte, keine Provider-Abhängigkeit
  • Air-Gap-fähig (für hochsensitive Branchen: Rüstung, Medizintechnik, kritische Infrastruktur)
  • Stabile Latenz, kein Netzwerk-Risiko

Nachteile

  • Hohe Einmalkosten und Hardware-Verantwortung beim Koordinator
  • GPU-Updates und Modell-Versionierung sind Koordinator-Aufgabe
  • Modell-Wechsel zwischen Pipeline-Phasen kostet 3–6 s pro Übergang
  • Skalierung erfordert zweite Karte oder größeres VRAM-Modell (RTX 6000 Ada 48 GB)
Modell B

Angemieteter Cloud-Server mit RTX 5090

Spitzen-Last · Test-Phase · Pay-per-Use

Statt eigener Hardware-Investition mietet der Koordinator eine GPU-Instanz stundenweise — bei Anbietern wie Vast.ai, RunPod oder Lambda Labs. Die Instanz wird beim Akten-Start hochgefahren, läuft während der Pipeline- Stufen und wird danach wieder beendet. Daten liegen auf dem Koordinator-Server (Modell C oder eigene Infrastruktur); die Cloud-GPU bekommt sie nur für die Dauer der LLM-Aufrufe per API.

Architektur

Koordinator-Server eigener Mini-PC oder VPS · CPU-only Komponenten • CE-Doc Portal + Switchboard • Mandanten-Daten (akt_state) • Pipeline-Treiber + Mail-Bridge Lifecycle • dauerhaft online beim Koordinator • ruft GPU-Endpoint nur bei Bedarf Cloud-GPU on demand Vast.ai · RunPod · Lambda Labs Komponenten • vLLM-Endpoint (HTTPS-API) • Mistral Small 22B • Qwen 3 32B (sequentieller Swap) Lifecycle • startet pro Akte, 1–3 min Spin-up • Auto-Suspend nach 30 min Idle • Volume mit Modellen bleibt erhalten HTTPS API · TLS LLM-Reply

Kosten

PostenPreisAnmerkung
RTX 5090 on demand (Vast.ai)0,80–1,20 $/hSpot-Preise schwanken; reservierte Instanzen ~30 % günstiger
RTX 4090 on demand (Alternative)0,50–0,80 $/h24 GB VRAM — für Qwen 3 32B-Q4 knapp, Gemma 3 27B-Q4 passt besser
Storage für Modell-Cache5–15 $/Monat30 GB Modell-Daten, nicht bei jedem Start neu laden
Akte mit ~2 h GPU-Zeit1,60–2,40 $plus Storage-Anteil

Setup-Skizze

Einmalige Vorbereitung (~3 h)

  1. Vast.ai- oder RunPod-Account anlegen, Zahlungsmittel hinterlegen, Budget-Limit setzen
  2. Custom-Docker-Image mit vLLM + GGUF-Modellen bauen und in Image-Registry pushen (~50 GB inkl. Qwen 2.5-VL für Vision-Hardcases)
  3. Koordinator-Server (Modell C) mit AIMOS-Repo aufsetzen — Portal, Mandanten-DB, Switchboard
  4. Switchboard-Config: dynamischer Endpoint, Auto-Spin-Up via Vast.ai-API beim ersten Aufruf einer Akte
  5. Mit Auto-Suspend nach 30 min Idle, Auto-Resume bei nächster Aufgabe

Pro Akte (automatisch)

  1. Koordinator wirft Akte ins Portal — Pipeline-Treiber prüft GPU-Verfügbarkeit
  2. Wenn keine Instanz aktiv: Vast.ai-API startet RTX 5090, vLLM lädt Modelle (~2 min)
  3. Pipeline-Phasen laufen, jeder Switchboard-Call geht an die Cloud-GPU
  4. Nach 30 min ohne weiteren Call: Instanz wird suspendiert (Volume bleibt erhalten)

Vorteile

  • Keine Investition in eigene GPU — Hardware-Risiko bei Cloud-Anbieter
  • Skalierung über mehrere Akten parallel durch zusätzliche Instanzen
  • Geeignet zum Testen von Modell A vor dem Kauf
  • Pay-per-Use: ruhige Wochen kosten nichts

Nachteile

  • Mandanten-Daten gehen während der Pipeline in die Cloud — Standort der GPU prüfen (Vast.ai hat oft US-/Asien-Hosts)
  • AVV mit Cloud-GPU-Anbieter erforderlich, DSGVO-Konformität pro Anbieter zu bewerten
  • Spin-Up-Latenz von 1–3 min pro Akten-Start
  • Volatile Preise bei Spot-Instanzen
Modell C

Eigener Server mit Mistral-API

EU-Hosting · Daten-Hoheit · ohne GPU-Investition

Der Koordinator betreibt das Portal und die Mandanten-Datenhaltung auf eigener Hardware (Mini-PC im Büro, ein NUC, oder ein VPS bei einem EU-Provider). Die LLM-Inferenz wird an die Mistral-API in Paris ausgelagert. Die Koordinator-Maschine selbst braucht keine GPU — eine moderne CPU mit 16 GB RAM genügt.

Architektur

Koordinator-Server Mini-PC oder EU-VPS · CPU-only Komponenten • CE-Doc Portal • Switchboard (Routing) • Mandanten-Daten lokal (akt_state, Audit-Trails) Datenschutz • Daten verlassen Server nur als verschlüsselter LLM-Call • AVV mit Mistral nach Art. 28 Mistral AI · Paris (EU) api.mistral.ai • mistral-small (Sichter, Schreiber) • magistral-medium (Lektor L4) • pixtral-large (Vision-Hardcases) • ZDR-Modus: kein Training Anthropic (optional) Cross-Provider-Fallback • Sonnet 4.6 für Lektor L4 • bei Mistral-Ausfall oder Cross-Provider-Pflicht HTTPS · TLS · API-Key HTTPS · optional

Hardware

KomponenteSpezifikationPreis
Mini-PC oder Intel NUCi5/i7, 16 GB RAM, 500 GB NVMe500–900 €
Alternativ: VPSHetzner CCX13, 4 vCPU, 16 GB RAM, EU-Hosting~20 €/Monat
Backup-NAS oder Cloud-Backup4 TB200–400 € einmalig oder 5 €/Mt
Einmalig (Mini-PC-Variante)700–1.300 €
Laufend (VPS-Variante)~25 €/Monat

LLM-Kosten pro Akte

Pipeline-StufeModellToken (ca.)Kosten
Sichter + Disziplin-Analysten (10 Calls)mistral-small-latest~120k~0,04 €
Schreiber (15 Slots)mistral-small-latest~80k~0,02 €
Lektor L4 + Argumentations-Prüfermagistral-medium-latest~40k~0,05 €
Vision-Hardcases (Schaltpläne, nur bei Bedarf)pixtral-large-latest~15k pro Bild~0,05 € pro Bild
Pro Akte (Mittelwert, 1–2 Vision-Calls)~0,15–0,25 €

Setup-Skizze

Einmalige Inbetriebnahme (~3 h)

  1. Mini-PC mit Ubuntu Server 24.04 aufsetzen, SSH-Zugang einrichten, ufw-Firewall konfigurieren
  2. Caddy oder Cloudflare Tunnel für TLS-Terminierung; Domain auf Koordinator-Server zeigen (z. B. portal.koordinator-name.de)
  3. Mistral-API-Key beantragen unter console.mistral.ai, AVV nach DSGVO Art. 28 herunterladen und ablegen
  4. AIMOS-Repo klonen, .env mit API-Key + Domain konfigurieren, ZDR-Header in Switchboard aktivieren
  5. Portal als systemd-Unit starten, Backup-Cron einrichten (täglich nach Backup-Skript scripts/backup.sh)
  6. Optional: Anthropic-Key als Cross-Provider-Fallback für Lektor L4 hinzufügen (Diversität gegen Mistral-Ausfall)

Vorteile

  • Mandanten-Daten bleiben physisch beim Koordinator (Akten, Audit-Trails, akt_state)
  • Nur die LLM-Aufrufe gehen an Mistral — kein Modell-Training auf den Daten (AVV-Klausel + ZDR-Modus)
  • Niedrige Hardware-Investition, planbare Laufkosten
  • Volle Kontrolle über die Domain, API-Keys, TLS-Zertifikate

Nachteile

  • API-Aufrufe verlassen den Koordinator-Server — Mistral ist Sub-Verarbeiter
  • Provider-Verfügbarkeits-Risiko (Mistral-Ausfälle ggf. mit Anthropic-Fallback abfangen)
  • API-Kosten skalieren mit Akten-Volumen
  • Koordinator wird selbst zum Server-Operator (Updates, Backups, TLS)
Modell D

SaaS bei EcoHub

Pilot · Test-Phase · Einstieg ohne IT-Investition

EcoHub betreibt die komplette Infrastruktur. Der Koordinator erhält einen Zugang zum Portal unter portal.ce-doc.eu/<koordinator-id>, ein tenant-isoliertes Workspace-Verzeichnis und startet ohne eigene IT-Einrichtung. Die drei anderen Modelle erfordern jeweils eine separate Domain-, API-Key- und SMTP-Einrichtung; für die Test- und Lern-Phase ist Modell D daher meist die einstiegsschnellste Variante.

Architektur

EcoHub-Server · Hetzner Helsinki (EU) Portal · Multi-Tenant portal.ce-doc.eu/berater_a portal.ce-doc.eu/berater_b portal.ce-doc.eu/berater_c Switchboard · Provider-Routing Mistral primär Sichter · Schreiber Anthropic Cross-Provider Lektor L4 Pixtral L Vision Schaltpläne Daten · Mail · Backup Tenant-isolierte Workspaces (AUDIT-11) SMTP: pilot@ce-doc.eu Backup: tägl. EU-Cold Koordinator (extern) Browser · Mail-Client keine eigene IT-Infrastruktur HTTPS · TLS SSH (optional)

Was EcoHub bereitstellt

Optionaler SSH-Lernzugang

Während der Test- und Lern-Phase bietet EcoHub auf Wunsch einen SSH-Zugang zur Koordinator-Sandbox auf dem EcoHub-Server an. Damit kann der Koordinator:

Wichtig: Der SSH-Zugang ist auf das Koordinator-eigene Workspace beschränkt (chroot-isoliert, kein Zugriff auf andere Mandanten oder System-Konfig). Für produktiv-vertrauliche Mandanten-Daten empfehlen wir den Umstieg auf Modell C, sobald die Lern-Phase abgeschlossen ist.

Setup-Skizze

Onboarding durch EcoHub (~30 min, einmalig)

  1. Pilot-Vertrag und AVV unterzeichnen (siehe Vertraulichkeit)
  2. Koordinator-Account anlegen — Skript scripts/berater_anlegen.py <id> <name> <mail>
  3. Workspace-Verzeichnis und SMTP-Adresse werden automatisch erzeugt
  4. Koordinator erhält Zugangs-Mail mit Portal-URL, Initial-Passwort, optional SSH-Key-Anfrage
  5. Erster Vorgang kann sofort angelegt werden

Kosten

PostenPreis
Onboarding einmalig0 € (Pilot-Phase)
Test-Akten ohne Echtdaten0 € während Pilot
Produktiv-Aktensiehe Preise
SSH-Lernzugangauf Anfrage, kostenfrei in der Lern-Phase

Vorteile

  • Sofortiger Start, kein IT-Setup beim Koordinator
  • Mehrere Provider transparent über EcoHub-Switchboard
  • Inkl. Operations, Backups, Monitoring, Updates
  • SSH-Zugang ermöglicht Lernen am laufenden System
  • Übergangsmodell auf C oder A jederzeit möglich

Nachteile

  • Mandanten-Daten liegen auf EcoHub-Infrastruktur (Hetzner Helsinki, EU)
  • Provider-Vielfalt liegt in EcoHub-Hand; Wahl-Eingriff begrenzt
  • Bei großem Akten-Volumen ggf. unwirtschaftlicher als Modell C
  • Koordinator-Branding über Subdomain, nicht eigene Domain (außer Custom-Domain-Add-On)

Typischer Migrations-Pfad

Die vier Modelle sind als Reise gedacht. Koordinator starten in der Regel klein und ziehen mit steigender Mandanten-Zahl, höherer Vertraulichkeits- Anforderung oder gewachsenem IT-Vertrauen auf die nächste Stufe um.

Klassischer Lebenszyklus

▶ D · SaaS EcoHub — Pilot mit 1–3 Test-Mandanten, Lern-Phase, optional SSH-Zugang
▶ C · Eigener Server + Mistral-API — eigene Domain, eigene Daten-Hoheit, Mini-PC im Büro
▶ A · Voll lokal — RTX 5090 Workstation, wenn Air-Gap-Mandanten oder Daten-Souveränitäts-Pflicht

Alternativer Pfad

▶ D · SaaS → B · Cloud-GPU — wenn der Koordinator auf Cloud-Infrastruktur bleibt, aber eigene API-Keys und Daten-Hoheit will

Migrations-Werkzeuge: Workspace-Export als verschlüsseltes ZIP (siehe Sicherheit · Aspekt 1), Modell-Wechsel über Switchboard-Config ohne Pipeline-Anpassung, AVV-Update beim Übergang zwischen Modellen.

Modell-Wahl

Die Wahl des Betriebsmodells hängt ab von Mandanten-Zahl, Vertraulichkeits-Profil, vorhandener IT-Infrastruktur und gewünschter Daten-Hoheit. Eine konkrete Zuordnung erfolgt im Pilot-Gespräch.

Kontakt aufnehmen