Jak používat nový chat Nvidie s robotem RTX AI

Od vydání úžasného ChatGPT čeká počítačový svět na nativního chatbota s umělou inteligencí, který dokáže pracovat odděleně od cloudu. Nvidia má nyní odpověď s Chat with RTX, nativním chatbotem s umělou inteligencí, který vám umožňuje využít model umělé inteligence k procházení vašich offline dat.

V této příručce vám ukážeme, jak nastavit a používat chat s RTX. Toto je pouze demo, takže při práci s nástrojem očekávejte nějaké chyby. Ale doufejme, že to otevře dveře více místním chatbotům založeným na AI a dalším místním nástrojům AI.

Jak stáhnout chat s RTX

Prvním krokem je stažení a konfigurace Chat s RTX, což je ve skutečnosti trochu složitější, než byste čekali. Jediné, co musíte udělat, je spustit instalační program, ale instalační program je náchylný k selhání a budete muset splnit minimální systémové požadavky.

Potřebujete GPU řady RTX 40 nebo 30 s alespoň 8 GB paměti VRAM, 16 GB systémové paměti RAM, 100 GB místa na disku a Windows 11.

Krok 1: Stáhněte si instalační program Chat with RTX Z webu Nvidie. Tato složka zip má 35 GB, takže stažení může chvíli trvat.

Krok 2: Po dokončení stahování klikněte pravým tlačítkem na složku a vyberte Extrahujte vše.

Jacob Roach/Digitální trendy

Krok 3: Ve složce najdete několik souborů a složek. On vybírá setup.exe A projděte si instalační program.

Krok 4: Před zahájením instalace se vás instalátor zeptá, kam chcete uložit svůj chat s RTX. Ujistěte se, že na zadaném místě máte alespoň 100 GB místa na disku, protože Chat s RTX ve skutečnosti stahuje modely AI.

Krok 5: Instalace může trvat až 45 minut, takže se nebojte, pokud jej uvidíte krátce viset. Může také zpomalit váš počítač, zejména při konfiguraci modelů AI, proto doporučujeme chvíli se pozastavit, než se instalace dokončuje.

Krok 6: Instalace může selhat. Pokud k tomu dojde, jednoduše znovu spusťte instalační program a vyberte stejné umístění pro data jako předtím. Instalační program bude pokračovat tam, kde skončil.

Krok 7: Po dokončení instalace získáte na ploše zástupce pro chatování s RTX a aplikace se otevře v okně prohlížeče.

Jak používat RTX chat s vašimi daty

Velkou výhodou Chatu s RTX je, že můžete používat vlastní data. Používá to, co se nazývá generování rozšířeného vyvolání nebo RAG, k procházení dokumentů a poskytování odpovědí na základě těchto dokumentů. Namísto odpovědi na jakoukoli otázku je Chat s RTX dobrý v zodpovězení konkrétních otázek o konkrétní sadě dat.

Nvidia obsahuje některá ukázková data, abyste si mohli nástroj vyzkoušet, ale budete muset přidat svá vlastní data, abyste odemkli plný potenciál chatování s RTX.

Krok 1: Vytvořte složku, do které budete ukládat svou datovou sadu. Poznamenejte si umístění, protože budete muset nasměrovat Chat s RTX na tuto složku. V současné době podporuje Chat s RTX soubory .txt, .pdf a .doc.

Krok 2: Otevřete chat s RTX a vyberte ikonu pera v Soubor dat rozdělit.

Krok 3: Přejděte do složky, do které jste uložili svá data, a vyberte ji.

Krok 4: V chatu s RTX vyberte ikonu obnovení Soubor dat rozdělit. Tím se model znovu sestaví na základě nových dat. Při každém přidání nových dat do složky nebo výběru jiné datové sady budete muset formulář aktualizovat.

Krok 5: Po přidání dat vyberte model, který chcete použít, v sekci AI Model. Chat s RTX zahrnuje Llama 2 a Mistral, přičemž poslední možnost je výchozí. Vyzkoušejte obojí, ale pro nové uživatele je nejlepší Mistral.

Krok 6: Odtud můžete začít klást otázky. Nvidia poukazuje na to, že chatování s RTX nebere v úvahu kontext, takže minulé odpovědi neovlivňují budoucí odpovědi. Navíc konkrétní otázky obecně přinesou lepší výsledky než obecné otázky. A nakonec Nvidia poukazuje na to, že funkce Chat with RTX někdy při odpovědi uvede nesprávná data, takže na to pamatujte.

Krok 7: Pokud Chat s RTX přestane fungovat a restartování problém nevyřeší, Nvidia říká, že můžete problém vyřešit smazáním souboru Preferences.json. Toto se nachází v C:\Users\\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\config\preferences.json.

Jak používat chat RTX s YouTube

Kromě vlastních dat můžete využít chat RTX s videi na YouTube. Model AI je založen na textu z videa YouTube, takže existují určitá přirozená omezení.

Za prvé, model AI nevidí nic, co není zahrnuto v textu. Nemůžete se například ptát, jak kdo vypadá na videu. Skripty YouTube navíc nejsou vždy dokonalé. Ve videích s chaotickým textem možná nedostanete požadované odpovědi.

Krok 1: Otevřete chat s RTX a v Soubor dat Sekce, vyberte rozbalovací nabídku a vyberte Youtube.

Krok 2: Do pole níže vložte odkaz na video nebo seznam videí YouTube. Vedle tohoto pole najdete číslo udávající maximální počet textů, které chcete stáhnout.

Krok 3: Vyberte tlačítko stahování vedle tohoto pole a počkejte, až skripty dokončí stahování. Po dokončení klikněte na tlačítko Aktualizovat.

Krok 4: Jakmile budete s textem hotovi, můžete chatovat stejně jako se svými vlastními daty. Konkrétní otázky jsou lepší než obecné otázky, a pokud mluvíte o více videích, může Chat s RTX postrádat záložku, pokud je vaše otázka příliš obecná.

Krok 5: Pokud chcete chatovat o nové várce videí, budete muset ta stará ručně smazat. Vedle tlačítka Aktualizovat najdete tlačítko pro otevření okna Průzkumníka. Zamiřte tam a smažte texty, pokud chcete chatovat o jiných videích.