Im letzten Beitrag hatte ich mich mit Home Assistant Voice beschäftigt und bin zu dem Ergebnis gekommen, dass es durchaus benutzbar ist, aber leider noch nicht ansatzweise das Level kommerzieller Smart-Speaker erreicht – zu starr sind teilweise die in der „Intent Engine“ hinterlegten Formulierungen, und auch kleinste „Verhörer“ der Speech-to-Text Engine führen zwangsläufig zu einer Fehlermeldung. Dem kann man entgegensteuern, indem man eigene Sprachbefehle anlegt, aber das ist aufwendig und löst auch das Problem mit manchmal falsch verstandenen Wörtern nicht wirklich.

Eine attraktiv erscheinende Alternative ist da das Einbinden eines LLMs, da es beide Probleme zu lösen vermag, weil es natürliche Sprache versteht und sich zumindest in der Theorie auch nicht sofort von missverstandenen Wörtern aus der Ruhe bringen lässt. Das LLM kann dabei grundsätzlich sowohl lokal laufen, als auch in der Cloud – für Ersteres benötigt man allerdings einen Rechner mit entsprechend starker GPU, und für letzteres muss man Kosten für die Nutzung der LLM-API in Kauf nehmen und verliert natürlich (zumindest teilweise) den Vorteil der besseren Privatsphäre. Trotzdem werde ich beide Herangehensweisen beleuchten, denn glücklicherweise gibt es noch andere Alternativen als die bekannten LLM-Anbieter aus den USA.

Da sich dieses Feld schnell bewegt und es verschiedene technische Lösungsansätze dafür gibt, möchte ich in diesem Artikel keine Schritt-für-Schritt-Anleitung festhalten, sondern eher allgemein über meine Erfahrungen beim verwenden von LLMs in Home Assistant sprechen.

Noch bevor man ein LLM einbindet, muss man sich für eine Integration entscheiden. Ich verwende hierfür aktuell „HACS Local OpenAI LLM„, da es deutlich einsteigerfreundlicher als „Extended OpenAI Conversation“ ist und über das optionale Addon „Tools for Assist“ auch Zusatzfunktionen wie Websuche, Umrechnungen und Wettervorhersagen unterstützt, ohne dass man viel einrichten muss. Lasst euch von den Namen nicht verwirren, „OpenAI“ bedeutet in diesem Fall nur, dass euer LLM über eine OpenAI-Kompatible API erreichbar sein muss.

Weiterlesen →