Worüber gesprochen wird und was gezeigt wird
Was bringt es, ein Sprachmodell auf dem eigenen Rechner laufen zu lassen, ohne Cloud, ohne Abo und ohne dass Daten das Haus verlassen? Dieses Lab richtet sich an dich, wenn du Kontoauszüge, Bewerbungen, Arztbriefe oder Mandantenunterlagen mit KI bearbeiten willst, die du nie bei ChatGPT hochladen würdest. Es geht Schritt für Schritt: Programm installieren, Modell herunterladen, verstehen, was dabei auf der Festplatte passiert, und dann mit echten Übungsdateien arbeiten. Vorkenntnisse brauchst du keine, nur einen Rechner mit genug Arbeitsspeicher.
Gezeigt wird die Installation von Bionic, der neuen Desktop-App von LM Studio, auf Mac und Windows. Ab 48 GB RAM läuft Qwen 3.8 27B, ein Download von 16 GB, auf kleineren Rechnern Gemma 4 E4B. Im Chat schreibt das Modell eine Einladungsmail mit höchstens 80 Wörtern, auf Wunsch auch auf Chinesisch, und sortiert drei Anfragen in eine Tabelle. Im Projektmodus liest es zwei Textdateien und legt ungefragt eine Protokolldatei ab. Zum Schluss rechnet es drei Angebote auf zwölf Monate hoch. Ein gut ausgestatteter Windows-Rechner kommt dabei ins Stocken.
Du nimmst mit, dass ein lokales Modell wie ein gewissenhafter Praktikant arbeitet. Es braucht ausführliche Anweisungen mit Format, Reihenfolge und einer Regel für fehlende Angaben, am besten mit dem Hinweis, auf Deutsch zu antworten. Arbeiten lässt du es in einem Kopierverzeichnis, nie auf den Originaldateien. Quantisierung erklärt sich über RAW und JPEG: 4-Bit-Modelle sind kleiner und schneller, 8-Bit genauer. Grenzen liegen bei sehr vielen Dokumenten, für die die Cloud das Arbeitstier bleibt, bei Office-Formaten und bei Windows-Hardware, die noch nicht alle Laufzeitumgebungen unterstützt.
Was du mitnimmst
- Bionic von LM Studio installieren und das erste Modell laden
- einschätzen, welches Modell zu 16 oder 64 GB RAM passt
- Quantisierung verstehen: warum 4-Bit-Modelle kleiner und schneller sind
- Prompts für lokale Modelle ausführlich und mit Fallback formulieren
- ein Schattenverzeichnis anlegen, damit die KI nie Originaldateien anfasst
- entscheiden, welche Aufgaben lokal bleiben und welche in die Cloud gehen
Eine Aufzeichnung aus dem KI-Experten-40plus-Archiv, 112 Minuten. Du schaust, wann du willst und so oft du willst.
Zum Nachlesen gibt es das Gespräch im Wortlaut.