Zum Hauptinhalt

Lokale KI im Büro: Welche Hardware sich wirklich lohnt

Eine KI kann Gesprächsnotizen zusammenfassen, ohne sie an einen externen Modelldienst zu senden. Dafür müssen Modell und Verarbeitung tatsächlich lokal laufen. Ob sich das in deinem Büro lohnt, hängt nicht nur vom Datenschutz ab, sondern auch von Aufgabe, Speicherbedarf und Betrieb. Hier findest du eine Orientierung für die Entscheidung, keine pauschale Hardware-Kaufempfehlung.

Was „lokal“ heißt

Ein Sprachmodell ist im Kern eine große Datei mit gelernten Zahlenwerten, den Gewichten. Bei einer Cloud-Lösung liegt diese Datei beim Anbieter, und deine Anfrage reist über das Internet dorthin. Bei einer lokalen Lösung liegt die Datei auf deinem Rechner, und das Modell rechnet dort. Der Hersteller der Software Ollama schreibt in seinen Datenschutzhinweisen (Stand März 2026), dass er Eingaben und Antworten, die lokal verarbeitet werden, weder erhebt noch speichert und keinen Zugriff darauf hat.

Offene Modellgewichte, auf Englisch Open Weights, machen viele solcher Installationen möglich: Der Hersteller stellt die trainierten Modellgewichte bereit. Das ist nicht automatisch Open Source. Die Open Source Initiative unterscheidet zwischen der Veröffentlichung der Gewichte und einer Open-Source-KI, für die zusätzlich unter anderem ausreichende Angaben zu den Trainingsdaten und der erforderliche Code zugänglich sein müssen. Entscheidend für deinen Einsatz bleibt die jeweilige Lizenz.

Für dich zählt in der Praxis vor allem die Lizenz. Drei aktuelle Beispiele stehen unter Apache 2.0, einer Lizenz, die ausdrücklich auch geschäftliche Nutzung erlaubt: gpt-oss von OpenAI, Gemma 4 von Google und Qwen3.8 von Alibaba. Lies die Lizenz trotzdem bei jedem Modell, denn sie unterscheidet sich von Hersteller zu Hersteller.

Die Werkzeuge: Ollama und LM-Studio

Du musst dafür nichts programmieren. Zwei Programme sind verbreitet.

Ollama läuft unter macOS, Windows und Linux und steht unter MIT-Lizenz. Ein lokales Modell startest du beispielsweise mit dem Befehl „ollama run gemma4:12b“. LM-Studio bietet eine Desktop-Oberfläche und kann nach dem Download eines geeigneten Modells offline arbeiten. Laut Hersteller ist die Nutzung im Unternehmen seit dem 8. Juli 2025 kostenlos möglich; zusätzliche Unternehmensfunktionen können kostenpflichtig sein. Ein Modell zum Laufen zu bringen ist allerdings noch kein sicher betriebener Büro-Workflow.

Ein Stolperstein: Manche Modelle in Ollama gibt es auch als Cloud-Variante. Die läuft dann nicht auf deinem Rechner, sondern bei Ollama. Laut den Datenschutzhinweisen werden solche Eingaben dort kurzzeitig verarbeitet und nicht länger gespeichert, als die Anfrage dauert. Achte beim Auswählen also darauf, dass du die lokale Variante nimmst.

Hardware: der Engpass ist der Speicher

Für die Geschwindigkeit zählen vor allem verfügbarer Speicher, Speicherbandbreite und die Unterstützung durch die Software. Bei vielen PCs ist der Grafikspeicher der Engpass; bei Apple-Chips kann die GPU gemeinsamen Arbeitsspeicher nutzen. Lässt sich das Modell nicht vollständig auf die GPU laden, kann je nach Laufzeitumgebung ein Teil auf der CPU rechnen. Das ist häufig langsamer. Mit „ollama ps“ prüfst du die Verteilung. Quantisierung verringert den Speicherbedarf, indem Gewichte mit geringerer Genauigkeit gespeichert werden. Je nach Verfahren und Aufgabe kann das auch die Qualität beeinflussen.

Die folgenden Größen aus der Ollama-Bibliothek zeigen, wie viel Platz bestimmte Modellvarianten benötigen. Sie sind keine vollständige Angabe des Speicherbedarfs im Betrieb: Zusätzlich brauchen das Betriebssystem, die Laufzeitumgebung und der Gesprächskontext Speicher. Bei langen Eingaben oder mehreren gleichzeitigen Nutzern kann der Bedarf deutlich steigen.

  • gpt-oss:20b: rund 14 GB für die angebotene Modellvariante. Ollama nennt Systeme ab 16 GB Speicher als mögliche Untergrenze. Die 120b-Variante umfasst rund 65 GB und kann laut Anbieter auf eine einzelne 80-GB-GPU passen. Die Modellnamen runden die Parameterzahlen; „20b“ ist keine exakte Zählung.
  • Gemma 4: Die 12b-Variante umfasst etwa 7,7 bis 8 GB, die 26b-Varianten etwa 16 bis 19 GB und die 31b-Varianten etwa 19 bis 20 GB. Die Größe hängt von der konkreten Variante ab.
  • Qwen3.8:27b: Die angebotene Ollama-Variante umfasst rund 18 GB. Auch hier kommt im Betrieb weiterer Speicher hinzu.

Daraus ergeben sich vier Hardware-Klassen:

1. Normaler Büro-PC oder Laptop. LM-Studio empfiehlt mindestens 16 GB Arbeitsspeicher, unter Windows zusätzlich mindestens 4 GB Grafikspeicher. Das reicht für kleine Modelle. Ohne Grafikkarte läuft es, aber spürbar langsamer (unsere Einschätzung).

2. Mac mit gemeinsamem Speicher. Bei Apple-Chips greifen CPU und GPU auf denselben Speicherpool zu. Apple führt beim Mac Studio Konfigurationen von 36 bis 512 GB auf; je nach Chip liegt die Speicherbandbreite zwischen 460 GB/s und 1,2 TB/s. Nicht jede Speichergröße ist mit jedem Chip kombinierbar. Prüfe die konkrete Konfiguration und Lieferbarkeit vor dem Kauf; die technische Produktseite ist keine Lieferzusage.

3. PC mit Grafikkarte. Die GeForce RTX 5090 bietet 32 GB Grafikspeicher. NVIDIA nennt für das Referenzdesign 575 Watt Gesamtgrafikleistung und in der Spezifikation eine erforderliche Systemleistung von 1.000 Watt für einen Beispiel-PC. Diese Werte sind keine Messung des Stromverbrauchs deines KI-Workflows. Prüfe Netzteil, Anschlüsse, Kühlung und Gehäuse für die konkrete Karte. Eine solche High-End-Karte ist außerdem kein notwendiger Einstieg in lokale KI. Vergleiche aktuelle Händlerpreise statt ältere US-Preisangaben zu übernehmen.

4. Server oder Workstation. Eine solche Lösung kann sinnvoll sein, wenn große Modelle schnell laufen oder mehrere Personen gleichzeitig zugreifen sollen. gpt-oss:120b kann laut Ollama auf eine 80-GB-GPU passen. Das bedeutet nicht, dass ein großer Modellname zwingend eine Profi-Grafikkarte voraussetzt: Laufzeitumgebung, Quantisierung, gemeinsamer Speicher und akzeptable Antwortzeit entscheiden mit. Für ein kleines Büro ist eine Serveranschaffung erst nach einem belastbaren Test sinnvoll.

Was lokal gut klappt

Lokale Modelle kommen vor allem für klar abgegrenzte Aufgaben infrage. Ob die Qualität reicht, lässt sich nur mit deinen Dokumenten und Anforderungen beurteilen:

  • Texte zusammenfassen: Gesprächsnotizen, Protokolle, lange E-Mail-Verläufe.
  • Entwürfe schreiben: erste Fassungen von E-Mails, Angebotstexten oder Objektbeschreibungen, die du danach selbst prüfst und anpasst.
  • Interne Dokumente nutzen: Fragen zu Richtlinien, Checklisten oder Vorlagen beantworten lassen. Wie das Modell dein Firmenwissen findet, erklären wir im Beitrag „RAG oder Fine-Tuning“.
  • Sortieren und Etikettieren: eingehende Anfragen nach Thema oder Dringlichkeit einordnen.

Ein Beispiel aus dem Maklerbüro: Nach einer Besichtigung diktierst du einige Stichpunkte. Ein lokales System kann daraus einen Notizentwurf und eine Folgeaufgabe erstellen. Wenn die Daten das Büro nicht verlassen sollen, muss auch die Spracherkennung lokal laufen. Ein lokales Sprachmodell allein verhindert nicht, dass ein externer Transkriptionsdienst die Audiodatei erhält.

Plane einen Testlauf mit echten Aufgaben ein. Ob ein Modell für dich taugt, zeigt sich an deinen Texten, nicht an Ranglisten.

Wo Cloud-Modelle vorn liegen

Sehr leistungsfähige Modelle werden häufig als Cloud-Dienst angeboten. Epoch AI misst das mit einem eigenen Fähigkeitsindex: Die stärksten offenen Modelle lagen in der betrachteten Auswertung seit Januar 2026 im Schnitt etwa vier Monate hinter den stärksten geschlossenen. Für Modelle, die auf eine einzelne Verbraucher-Grafikkarte passen, ermittelte Epoch 2025 einen Rückstand von 6 bis 12 Monaten. Die Autoren weisen darauf hin, dass kleine offene Modelle auf Testaufgaben getrimmt sein können und der Abstand im Alltag dann größer ausfällt. Das ist ein Vergleich auf dem verwendeten Fähigkeitsindex, kein allgemeiner Zeitrückstand für jede Büroaufgabe. „Offen“ und „lokal“ sind außerdem verschiedene Kategorien: Auch offene Modelle können in einer Cloud laufen.

Für schwierige, mehrstufige Aufgaben können leistungsfähige Cloud-Modelle die bessere Wahl sein. Das gilt aber nicht automatisch für jeden langen Text oder jeden Agenten. Vergleiche dieselben Aufgaben mit beiden Lösungen. Beim lokalen Betrieb musst du Modellversionen, Updates, Sicherungen, Zugriffsrechte und Ausfälle selbst organisieren. Auch in der Cloud bleiben die Auswahl des Dienstes und die sichere Einrichtung der Schnittstellen deine Aufgabe.

Auch „lokal“ beantwortet nicht automatisch alle Datenschutzfragen: Das Gerät, die Zugriffe und die Sicherung bleiben deine Verantwortung. Wie wir das in unseren eigenen Lösungen handhaben, steht auf unserer Seite Infrastruktur.

Wann sich Hardware rechnet

Vergleiche die gesamten Kosten: Hardware und Einrichtung, Strom, Wartung, Modellwechsel, Sicherungen und die Zeit für Fehlerbehebung. Bei Cloud-Lösungen zählen Abonnements oder API-Gebühren, Integration und laufender Betrieb. Zum Einstieg kann ein kleiner Test mit synthetischen oder ausreichend anonymisierten Daten sinnvoll sein. Für echte Kundendaten muss die Umgebung vorher freigegeben sein. Eine Anschaffung lohnt sich erst, wenn du die nötige Qualität, die Nutzungshäufigkeit und den Betreuungsaufwand kennst.

Entscheidungshilfe: eine Checkliste

Prüfe diese Punkte für eine konkrete Aufgabe. Die Liste ist eine Orientierung, kein Punktesystem: Ein ungeklärter Datenschutz- oder Lizenzpunkt lässt sich nicht durch mehrere andere Haken ausgleichen.

  • Es geht überwiegend um Texte, die dein Haus aus guten Gründen nicht verlassen sollen.
  • Die Aufgabe ist Zusammenfassen, Entwerfen oder Sortieren, keine anspruchsvolle Recherche über viele Schritte.
  • Du hast regelmäßig viele gleichartige Anfragen, sodass sich einmalige Hardwarekosten gegen laufende Nutzungskosten rechnen. Rechne mit echten Händlerpreisen, Strom und Betreuungszeit.
  • Die vorhandene oder geplante Hardware passt zum ausgewählten Modell, zur Eingabelänge und zur Zahl gleichzeitiger Nutzer. Pauschale Angaben wie „32 GB reichen“ sind dafür zu ungenau.
  • Jemand im Team kümmert sich um Updates, Modellwechsel und Datensicherung.
  • Ein erster Test mit etwa 20 repräsentativen Aufgaben hat brauchbare Ergebnisse geliefert. Vor produktivem Einsatz folgen weitere Tests mit Ausnahmen, Fehlersituationen und unterschiedlichen Dokumenten.
  • Du hast die Lizenz des Modells für geschäftliche Nutzung geprüft.
  • Du weißt, was passiert, wenn der Rechner ausfällt.

Lokale KI passt, wenn Qualität, Datenverarbeitung und Betrieb für die konkrete Aufgabe geklärt sind. Eine Cloud-Lösung kann einfacher zu betreiben sein, braucht aber ebenfalls eine passende Datenschutz- und Sicherheitsprüfung. Bei einer Mischlösung muss klar geregelt sein, welche Daten in welche Umgebung gelangen dürfen.

Dein nächster Schritt

Du bist unsicher, ob für dein Büro lokale KI, Cloud-Modelle oder eine Mischung passt? In einem unverbindlichen Erstgespräch schauen wir gemeinsam auf deine Aufgaben und deine Daten und sagen dir ehrlich, was sich lohnt und was nicht.

Quellen

(20)

Dieser Beitrag wurde mit Unterstützung von künstlicher Intelligenz erstellt und redaktionell geprüft.

Erstgespräch