WERKWANDEL 01_2025

WERKWANDEL 01/2025

WERKWANDEL 01/2025 AngeschautDie Lösung: Open-Source-ModelleEs gibt zwei Lösungen, um GPTs dennoch rechts-,daten- und datenschutzsicher zu nutzen: Entwederinvestiert man in teure Nutzungslizenzen fürein Foundation-Modell eines großen Anbieters,das dann im geschlossenen Rahmen über entsprechendeSchnittstellen exklusiv vom Unternehmengenutzt werden kann. Oder man wirfteinen Blick auf immer zahlreicher werdendeOpen-Source-Modelle. Diese sind zwar nicht soleistungsstark wie die KIs der großen Anbieter.Aber für viele betriebliche Anwendungen musses nicht unbedingt das mächtige GPT-4o-Modellvon OpenAI sein. Jedoch genügen meist wenigerleistungsstarke KI-Sprachmodelle, um effizient imKontext einer textgenerierenden KI-Anwendungeines Unternehmens angewendet zu werden undzu gleichermaßen akzeptablen Ergebnissen zuführen. Eine dieser Lösungen stellen wir hier vor.LM StudioEin einfacher und zudem kostenfreier Weg, unterschiedliche,teils spezialisierte KI-Sprachmodelleauszuprobieren, ist die Desktop-AnwendungAuf keinen Fall sollten interneoder sicherheitsrelevanteInformationen bei ChatGPToder anderen KI-Chatbotseingegeben werden.Sebastian TerstegenLM Studio. Diese Software wird vom US-amerikanischenUnternehmen Element Labs Inc. in Texasbetrieben. Element Labs entwickelt im Kundenauftragund in eigenen Projekten mobile Apps,Webanwendungen und Software-Designs undnutzt dabei innovative Technologien wie KI oderBlockchain.Die technischen Hardware-Anforderungensind gering: LM Studio läuft auf allen Apple-Computernmit den Chip-Generationen M1 bis M4.Windows- und Linux-PCs benötigen einen Prozessormit Befehlssatzerweiterung AVX2, die 2015eingeführt wurde und eigentlich in allen aktuellenProzessoren implementiert ist. Das heißt, mitChat-Dialog mit dem heruntergeladenen LLM, wie man es von ChatGPT kennt. | Screenshot: © LM Studio/Elements Lab Inc.72

WERKWANDEL 01/2025 Angeschauteinem handelsüblichen und relativ aktuellen PCoder Notebook kann LM Studio problemlos angewendetwerden.LM Studio kann nicht nur privat, sondernauch am Arbeitsplatz verwendet werden. Der Anbieterbittet lediglich um eine entsprechende, einmaligeRegistrierung.Gute Software-Doku und Erklärvideoserleichtern den EinstiegLM Studio bietet eine überschaubare und leichtverständliche Dokumentation, sodass auch neuenUsern ein schneller Einstieg in LM Studio und ersteErfolge mit der Anwendung gelingen werden.Weitere Unterstützung bieten Erklärvideos — hierzu empfehlen unter anderem das Video »LM Studio:Einfache lokale Einrichtung von LLMs« vonKI-Experte Harald Frey. Zu empfehlen ist auchsein KI-Wissens-Hub.Datenschutzfreundliche Nutzung vonSprachmodellen mit LM StudioNach dem kostenfreien Download (rund 450 MB)und der Installation der Software auf dem eigenenRechner können verschiedene Sprachmodelle(Large Language Models, LLMs) lokal auf den Rechnerheruntergeladen und angewendet werden. DieLLMs werden von der KI-Plattform Hugging Facebezogen. Die Anwendung eines LLM innerhalb vonLM Studio funktioniert dann so, wie man es vonChatGPT oder anderen KI-Chatbots gewohnt ist.Durch Retrieval Augmented Generation kann dasLLM auch auf eigene Dokumente wie Word-, PDFoderTextdateien zugreifen und Informationen ausdiesen Dateien in den Chat-Dialog integrieren.Der Clou dabei: Durch die lokale Anwendungdes heruntergeladenen LLM werden die beimChat-Dialog eingegebenen möglicherweise betriebsinternenoder sicherheitsrelevanten Informationen,Bilder oder Dokumente nur auf demeigenen Rechner gespeichert und nicht auf denServer des Betreibers des LLM hochgeladen. Einmalheruntergeladene LLM können innerhalb vonLM Studio sogar offline, also ohne Internetverbindungdes Rechners, angewendet werden.Mehr als 1 Million SprachmodelleAnfangs ist es für neue User recht mühsam, dasgeeignete LLM aus der riesigen Liste zur Verfügungstehender Modelle auszuwählen. Sowohlin LM Studio als auch auf der Plattform HuggingFace kann man diese Suche nach diversen Kategorienwie unter anderem der geplanten Anwendung(zum Beispiel Multimodal, Computer Vision,Sprachverarbeitung etc.), der zugrundeliegendenProgrammbibliothek oder dem trainierten Datensatzeinschränken und auf diese Weise doch relativschnell ein passendes Modell finden. Zum Einstiegempfiehlt LM Studio Metas LlaMA-Modell (LargeLanguage Model Meta AI) zu verwenden. Durch dieeinfache Anwendung von LM Studio lassen sichschnell verschiedene LLMs und Konfigurationentesten, sodass man nach kurzer Zeit eine gewisseExpertise entwickelt und zum KI-Profi wird.FazitLM Studio ist eine echte Alternative zu den öffentlichbekannten Chatbots der großen Anbieter wieOpenAI, Microsoft oder Google. Insbesondere alle,die Wert auf Datenschutz legen, finden in LM Studioeine einfache, funktionale und flexible KI-Lösung.Die gesamte Anwendung läuft lokal auf demeigenen Rechner — keine Anwendungsdaten fließenan Cloudserver eines externen Betreibers ab.LM Studio ist zudem der Ausgangspunkt für eigenebetriebsspezifische KI-Anwendungsentwicklungen.Man kann LM Studio als lokalen Serverbetreiben, über die LM Studio REST API Schnittstellenprogrammieren und somit ein konfiguriertesLLM mit externen Tools, anderen Apps oderWebapplikationen verknüpfen.Autor+49 211 542263-31AbkürzungenGPT: Generative pre-trained transformer, deutsch generativervortrainierter Transformer.LLM: Large Language Model, deutsch großes Sprachmodell.RAG: Retrieval-Augmented Generation.Dipl.-Ing. Sebastian TerstegenWissenschaftlicher MitarbeiterFachbereich Unternehmensexzellenzifaa — Institut für angewandteArbeitswissenschaft e. V.Sebastian Terstegen empfiehlt: LM Studioausprobieren und KI in die eigenen Händenehmen.73