Ratgeber Welche Hardware braucht eine lokale KI im Betrieb?
Welche Hardware braucht eine lokale KI im Betrieb?
Die häufigste Fehlannahme lautet, es brauche einen besonders schnellen Rechner. Tatsächlich entscheidet eine einzige Größe darüber, ob ein Modell überhaupt läuft: der Speicher auf der Grafikkarte.
· Deniz Fritsch, Staatlich geprüfter Techniker der Fachrichtung Elektrotechnik
Der Speicher entscheidet, nicht die Geschwindigkeit
Ein Sprachmodell muss vollständig in den Speicher der Grafikkarte passen, bevor es antworten kann. Passt es nicht hinein, läuft es entweder gar nicht oder es weicht auf den Arbeitsspeicher aus — und wird dabei um ein Vielfaches langsamer. Die Rechenleistung bestimmt danach nur noch, wie schnell die Antwort erscheint.
Deshalb ist die erste Frage bei der Auslegung nie „wie schnell", sondern „wie groß". Als Faustregel für die verbreiteten Modelle in komprimierter Form:
| Grafikspeicher | Was damit läuft | Wofür es reicht |
|---|---|---|
| 8 GB | kleine Modelle | Umformulieren, Übersetzen, kurze Zusammenfassungen |
| 16 GB | mittlere Modelle | Entwürfe, Antworten aus eigenen Unterlagen, brauchbare Alltagsqualität |
| 24 GB | große Modelle in komprimierter Form | der übliche Zielpunkt für einen Betrieb |
| 48 GB und mehr | sehr große Modelle, mehrere gleichzeitig | lohnt selten, bevor die kleinere Stufe nachweislich zu eng war |
Praktische Konsequenz: Zwischen 16 und 24 GB liegt der Punkt, an dem lokale Modelle im Alltag von den großen Anbietern kaum noch zu unterscheiden sind — für die Aufgaben, um die es in einem Betrieb tatsächlich geht. Der Sprung darüber kostet deutlich mehr und bringt spürbar weniger.
Was der Rest der Maschine leisten muss
Erstaunlich wenig. Prozessor und Arbeitsspeicher spielen kaum eine Rolle, solange das Modell auf der Grafikkarte liegt — vier Kerne und 32 GB Arbeitsspeicher sind ausreichend. Wichtiger sind drei Dinge, die bei der Beschaffung gern übersehen werden:
- Netzteil und Steckplatz. Eine Karte dieser Klasse zieht deutlich mehr Leistung als das, wofür ein Büroserver ausgelegt wurde, und braucht zwei Steckplätze in der Höhe. Beides ist der häufigste Grund, warum der Einbau in einen vorhandenen Server doch nicht klappt.
- Kühlung. Im Dauerbetrieb entsteht Abwärme, die im Serverraum abgeführt werden muss. Unter einem Schreibtisch ist das kein Problem, in einem geschlossenen Schrank schon.
- Schneller Datenträger. Modelle sind mehrere Gigabyte groß. Auf einer klassischen Festplatte dauert jeder Wechsel spürbar lange.
Wann der vorhandene Server genügt
Oft. Wenn ohnehin ein Server mit freiem Steckplatz und ausreichend Netzteilleistung im Haus steht, ist die Nachrüstung einer einzelnen Karte der günstigste Weg — es entsteht keine zweite Maschine, die gewartet, gesichert und aktualisiert werden will.
Gegen die Nachrüstung spricht ein Fall: Wenn auf demselben Server bereits die Fachanwendung oder die Datenbank läuft und deren Verfügbarkeit geschäftskritisch ist. Dann sollte die KI auf eine eigene Maschine, damit ein Versuch mit einem neuen Modell nicht den Betrieb stört.
Was sich nicht lohnt
Mehrere kleine Karten statt einer großen. Ein Modell über zwei Karten zu verteilen ist möglich, aber langsamer und deutlich fehleranfälliger als eine Karte mit entsprechendem Speicher.
Auf Vorrat kaufen. Die sinnvolle Reihenfolge ist umgekehrt: erst an echten Texten aus dem eigenen Betrieb prüfen, welche Modellgröße die Aufgaben löst — dann die Hardware dazu beschaffen. Wer zuerst kauft, kauft nach Prospekt.
Wie das im Betrieb eingerichtet wird und was dabei an Datenschutzpflichten bleibt, steht auf der Seite zur lokalen KI.
Häufige Fragen
Reicht eine Grafikkarte aus dem Spielebereich?
Für den Einstieg ja. Entscheidend ist der Grafikspeicher, nicht die Bildwiederholrate — eine gebrauchte Karte mit 24 GB leistet für diesen Zweck mehr als eine neue mit 12. Im Dauerbetrieb sprechen allerdings Abwärme, Lautstärke und die fehlende Fernwartung dagegen, sie in einen Serverschrank zu setzen.
Geht es auch ganz ohne Grafikkarte?
Technisch ja, praktisch selten befriedigend. Auf reiner Prozessorleistung erscheinen die Antworten in Schreibmaschinengeschwindigkeit. Für einen nächtlichen Stapellauf — etwa alle Protokolle einer Woche zusammenfassen — reicht das durchaus. Für die Arbeit am Bildschirm nicht.
Wie viele Mitarbeitende kann eine Karte bedienen?
Mehr als man denkt, weil selten alle gleichzeitig tippen. Als grober Anhalt: Eine Karte mit 24 GB bedient eine Handvoll Personen im Alltagsbetrieb ohne spürbare Wartezeit. Eng wird es erst, wenn mehrere gleichzeitig lange Dokumente verarbeiten lassen.
Passt das auf Ihren Betrieb?
Der Beitrag beschreibt den Normalfall. Ob er auf Ihre Anlage zutrifft, klärt sich in wenigen Minuten am Telefon — kostenlos und unverbindlich.