Transkripte · KI Learning Lab · Oktober 2026
Was bringt es, ein Sprachmodell lokal laufen zu lassen? Wir zeigen live, wie es eingerichtet wird, was es leistet, wo es an Grenzen stößt – und für welche Aufgaben sich der Aufwand lohnt. Besonders interessant für alle, die mit vertrauliche
112 Minuten Video · Auszug aus dem Gespräch
Die Aufzeichnung selbst liegt im Komplettarchiv. Hier steht in drei Absätzen, worum es geht und was gezeigt wird. Das Video mit Suche im Gesprochenen gibt es mit dem Zugang zum Archiv.
Was bringt es, ein Sprachmodell auf dem eigenen Rechner laufen zu lassen, ohne Cloud, ohne Abo und ohne dass Daten das Haus verlassen? Dieses Lab richtet sich an dich, wenn du Kontoauszüge, Bewerbungen, Arztbriefe oder Mandantenunterlagen mit KI bearbeiten willst, die du nie bei ChatGPT hochladen würdest. Es geht Schritt für Schritt: Programm installieren, Modell herunterladen, verstehen, was dabei auf der Festplatte passiert, und dann mit echten Übungsdateien arbeiten. Vorkenntnisse brauchst du keine, nur einen Rechner mit genug Arbeitsspeicher.
Gezeigt wird die Installation von Bionic, der neuen Desktop-App von LM Studio, auf Mac und Windows. Ab 48 GB RAM läuft Qwen 3.8 27B, ein Download von 16 GB, auf kleineren Rechnern Gemma 4 E4B. Im Chat schreibt das Modell eine Einladungsmail mit höchstens 80 Wörtern, auf Wunsch auch auf Chinesisch, und sortiert drei Anfragen in eine Tabelle. Im Projektmodus liest es zwei Textdateien und legt ungefragt eine Protokolldatei ab. Zum Schluss rechnet es drei Angebote auf zwölf Monate hoch. Ein gut ausgestatteter Windows-Rechner kommt dabei ins Stocken.
Du nimmst mit, dass ein lokales Modell wie ein gewissenhafter Praktikant arbeitet. Es braucht ausführliche Anweisungen mit Format, Reihenfolge und einer Regel für fehlende Angaben, am besten mit dem Hinweis, auf Deutsch zu antworten. Arbeiten lässt du es in einem Kopierverzeichnis, nie auf den Originaldateien. Quantisierung erklärt sich über RAW und JPEG: 4-Bit-Modelle sind kleiner und schneller, 8-Bit genauer. Grenzen liegen bei sehr vielen Dokumenten, für die die Cloud das Arbeitstier bleibt, bei Office-Formaten und bei Windows-Hardware, die noch nicht alle Laufzeitumgebungen unterstützt.
Das ganze Gespräch gibt es als Video – mit Suche im Gesprochenen und Sprung an jede Stelle. Alle KI Learning Lab-Aufzeichnungen findest du in der Übersicht, die Videos dazu im Komplettarchiv.