Přineste si hlasového asistenta domů

Pro mnohé jsou hlasoví asistenti užitečnými posluchači. Stačí zakřičet do prázdna a časovač se nastaví, nebo začnou hrát Led Zepplin. Pro některé je velkou nevýhodou nedostatek flexibility a spoléhání se na cloudové služby. [John Karabudak] Je jedním z těch lidí a je Provozuje vlastní mysl hlasového asistenta LLM (Large Language Model)..

V polovině roku 2010 to vypadalo, že svět ovládnou hlasoví asistenti a všechna rozhraní byla předurčena pro NLP (zpracování přirozeného jazyka). Trhliny se začaly objevovat, když tito asistenti dosáhli limitů toho, co NLP rozumně zvládá. LLM však tomuto nápadu vdechly nový život, protože snadno zvládnou složitější nápady a příkazy. Spuštění jednoho lokálně se však snáze řekne, než udělá.

Firewall s nějakým svalem (Protectli Vault VP2420) provozuje VLAN a Národní implementační plány Širší zobrazení služby na internetu. Abych skutečně provozoval LLM, moje RTX 4060 Ti poskytuje velkou VRAM potřebnou k levnému načtení modelu slušné velikosti. VLLM AI Engine však podporuje desítky modelů [John] Vybral si objemovou verzi Mixtral, aby se vešla do 32GB paměti VRAM, kterou měl k dispozici.

Jak však model přimět k ovládání domácích spotřebičů? Bylo snadné zahrnout hlavní případ do systémové části nároku. Získání pokynů, které má HomeAssistant následovat, je obtížnější. Zatímco ostatní modely jsou podporovány „Zavolejte funkci“, Mixtral č. [John] Upraven obal spojující vLLM a HomeAssistant, aby nakonec viděl JSON. Model však na konci rád vydával JSON, i když o to nebyl požádán. Tak [John] Přidána značka, kterou formulář přidá, když má uživatel konkrétní záměr.

na konci, [John] Má chytrého asistenta, který ovládá jeho domov s mnohem větší osobitostí a kreativitou, než cokoli, co si nyní můžete koupit. Navíc funguje lokálně a lze si jej přizpůsobit podle svých představ.

Je to skvělý průvodce s užitečnými tipy, jak něco podobného vyzkoušet. Dobrý hardware hlasového asistenta může být obtížné sehnat. Možná jednoho dne spustíme vlastní firmware pro asistenty, které již musíme připojit k vašemu místnímu serveru asistenta?