Eine lokale KI zu installieren dauert auf einem einzelnen Rechner weniger als eine Stunde: Werkzeug wählen, Modell laden, starten. Der Unterschied zwischen einem privaten Test und einem belastbaren Unternehmensbetrieb liegt in Absicherung, Dokumentation und Mehrbenutzerfähigkeit. Diese Anleitung führt durch beide Wege, Schritt für Schritt, ohne Fachjargon.
Fakten geprüft, Stand: August 2026
Für den Einstieg genügt ein handelsüblicher Rechner. Entscheidend ist der Arbeitsspeicher beziehungsweise der Grafikspeicher (VRAM): Ein 8-Milliarden-Parameter-Modell in komprimierter Form (Q4-Quantisierung) benötigt rund 5 bis 8 GB Speicher. Das schafft ein aktueller Laptop mit 16 GB RAM ebenso wie ein Mac mit Apple Silicon.
Für den Unternehmenseinsatz mit mehreren Nutzern und größeren Modellen gilt: Planen Sie Hardware nach der größten Modellklasse, die Sie betreiben wollen, nicht nach dem kleinsten Testfall. Details und aktuelle Preise liefert unsere Hardware-Übersicht (verlinkt unten).
Der Ablauf ist für alle gängigen Werkzeuge gleich. Wir zeigen ihn am Beispiel der zwei verbreitetsten: LM Studio (grafische Oberfläche, ideal für Einsteiger) und Ollama (Kommandozeile, ideal für Server und Automatisierung).
Für den Privatgebrauch ist die Installation mit LM Studio in 20 Minuten erledigt: Modell laden, chatten, fertig. Genau diese Einfachheit führt in Firmen jedoch zum bekannten Problem des Tool-Wildwuchses: Jeder Mitarbeiter installiert seine eigene, undokumentierte KI.
Ein Unternehmensbetrieb unterscheidet sich an vier Stellen: zentrale Bereitstellung statt Einzelplätze, dokumentierte Datenflüsse (DSGVO, Art. 30 Verarbeitungsverzeichnis), einheitliche Modell- und Qualitätsstandards sowie ein Betreiberkonzept für Updates und Ausfälle. Ohne diese Punkte entsteht Schatten-KI, mit denselben Risiken wie unkontrollierte Cloud-Nutzung.
Sobald mehr als drei bis fünf Personen mit dem System arbeiten sollen, beginnt der eigentliche Aufwand: Benutzerverwaltung, gleichbleibende Antwortqualität, Anbindung an Dateiablagen und Fachsoftware, Protokollierung. Spätestens hier lohnt ein strukturiertes Vorgehen, die nachträgliche Professionalisierung einer gewachsenen Installation kostet mehr als ein sauber geplanter Start.
Wenn Sie das Ergebnis brauchen, nicht das Bastelprojekt: Wir installieren und dokumentieren ein produktionsreifes lokales KI-System in Ihrer Infrastruktur, als Festpreis-Pilot ab 3.500 €, inklusive DSGVO-Unterlagen und Übergabe an Ihre IT. Der kostenlose Projekt-Check klärt vorab, welche Modell- und Hardware-Klasse zu Ihrem Fall passt.
Die Werkzeuge (LM Studio, Ollama) und gängige Modelle sind kostenlos. Kosten entstehen über Hardware, im Unternehmensbetrieb, über saubere Absicherung, Dokumentation und Betrieb. Unser Festpreis-Pilot für eine vollständige, dokumentierte Unternehmensinstallation startet ab 3.500 €.
Für den Start ein 7 bis 8B-Modell wie Llama 3.1 8B oder Mistral 7B: gute Deutsch-Qualität, läuft auf normaler Hardware, schnelle Antworten. Größere Modelle (70B) bringen mehr Qualität, brauchen aber 40 bis 48 GB Grafikspeicher.
Nein. Internet ist nur für den Download der Werkzeuge und Modelle nötig. Danach laufen Modell und Daten vollständig auf Ihrem Gerät, auch im abgeschotteten Netzwerk.
Bei einer echten lokalen Installation ja, vorausgesetzt, Telemetrie und Cloud-Sync der verwendeten Werkzeuge sind deaktiviert und die Modelle stammen aus vertrauenswürdigen Quellen. Genau diese Prüfung und Dokumentation ist Teil unserer Unternehmensinstallation.
Für kleine Modelle (7 bis 8B) meist ja, wenn 16 GB RAM vorhanden sind. Für schnellere Antworten oder größere Modelle lohnt eine GPU mit ausreichend VRAM oder ein Mac mit Apple Silicon. Unsere Hardware-Seite vergleicht die Optionen mit aktuellen Preisen.
Sieben kurze Fragen – und Sie erhalten eine ehrliche Einschätzung, welcher Einstieg zu Ihrem Unternehmen passt. Unverbindlich und kostenlos.
