Vor etwa einem halben Jahr habe ich mich schon einmal mit dem Thema „LLMs in Home Assistant“ beschäftigt. Zu diesem Zeitpunkt bin ich zu dem Ergebnis gekommen, dass mit der mir zu diesem Zeitpunkt zur Verfügung stehenden Hardware (eine RX 5700XT mit 8GB VRAM) ein sinnvolles Setup mit einem lokalen LLM in Home Assistant nicht möglich war, weshalb ich letzten Endes bei GPT-OSS-120B über die OVH-API hängen geblieben bin. Dieses Setup funktionierte zwar grundsätzlich zufriedenstellend, aber dennoch hat mich das Thema „Lokale KI“ nicht mehr losgelassen.

Die Hauptprobleme der RX 5700XT lassen sich effektiv zurückführen auf zu wenig VRAM und zu geringe KI-Leistung bzw. wenig Unterstützung für moderne APIs wie ROCm. Bereits im letzten Artikel habe ich die These aufgestellt, dass man für eine wirklich nutzbare lokale KI eine Grafikkarte mit moderner Architekur bzw. API-Support und mindestens 12 GB VRAM benötigt.

Als mir dann vor einigen Wochen eine AMD Radeon RX 7900GRE mit Instabilitätsproblemen beim Spielen zum Testen angeboten wurde, musste ich es natürlich damit ausprobieren – denn schließlich ist die 7900GRE ganze zwei Generationen jünger und bietet zudem 16 GB VRAM. Die gute Nachricht vorweg: auch bei einem mehrstündigen VRAM-Stresstest und Tests mit llama-bench lief die Karte stabil, KI-Inferenz ist offenkundig ein völlig anderes Lastprofil als Gaming. Das hat mich an sich auch wenig verwundert, denn die zuvor getestete RX 5700XT hatte ein sehr ähnliches Problem gezeigt, weshalb ich sie überhaupt erst als LLM-Karte evaluiert hatte.

Die RX 7900GRE wanderte also in meinen TrueNAS Scale Server um dort als KI-Beschleuniger für HA zu dienen. Um meine Erfahrungen damit, die letztendlich verwendete Konfiguration (und ob ich damit so zufrieden war, dass dieses Mal alles lokal geblieben ist) soll es im Folgenden gehen.

Im letzten Beitrag hatte ich mich mit Home Assistant Voice beschäftigt und bin zu dem Ergebnis gekommen, dass es durchaus benutzbar ist, aber leider noch nicht ansatzweise das Level kommerzieller Smart-Speaker erreicht – zu starr sind teilweise die in der „Intent Engine“ hinterlegten Formulierungen, und auch kleinste „Verhörer“ der Speech-to-Text Engine führen zwangsläufig zu einer Fehlermeldung. Dem kann man entgegensteuern, indem man eigene Sprachbefehle anlegt, aber das ist aufwendig und löst auch das Problem mit manchmal falsch verstandenen Wörtern nicht wirklich.

Eine attraktiv erscheinende Alternative ist da das Einbinden eines LLMs, da es beide Probleme zu lösen vermag, weil es natürliche Sprache versteht und sich zumindest in der Theorie auch nicht sofort von missverstandenen Wörtern aus der Ruhe bringen lässt. Das LLM kann dabei grundsätzlich sowohl lokal laufen, als auch in der Cloud – für Ersteres benötigt man allerdings einen Rechner mit entsprechend starker GPU, und für letzteres muss man Kosten für die Nutzung der LLM-API in Kauf nehmen und verliert natürlich (zumindest teilweise) den Vorteil der besseren Privatsphäre. Trotzdem werde ich beide Herangehensweisen beleuchten, denn glücklicherweise gibt es noch andere Alternativen als die bekannten LLM-Anbieter aus den USA.

Da sich dieses Feld schnell bewegt und es verschiedene technische Lösungsansätze dafür gibt, möchte ich in diesem Artikel keine Schritt-für-Schritt-Anleitung festhalten, sondern eher allgemein über meine Erfahrungen beim verwenden von LLMs in Home Assistant sprechen.

Noch bevor man ein LLM einbindet, muss man sich für eine Integration entscheiden. Ich verwende hierfür aktuell „HACS Local OpenAI LLM„, da es deutlich einsteigerfreundlicher als „Extended OpenAI Conversation“ ist und über das optionale Addon „Tools for Assist“ auch Zusatzfunktionen wie Websuche, Umrechnungen und Wettervorhersagen unterstützt, ohne dass man viel einrichten muss. Lasst euch von den Namen nicht verwirren, „OpenAI“ bedeutet in diesem Fall nur, dass euer LLM über eine OpenAI-Kompatible API erreichbar sein muss.