Schopnost ChatGPT poskytovat chatové odpovědi na jakoukoli otázku kdykoli dělá z chatbota užitečný zdroj pro vaše informační potřeby. Navzdory pohodlí nová studie zjistila, že možná nebudete chtít používat ChatGPT pro tvrzení softwarového inženýrství.
Před příchodem AI chatbotů byl Stack Overflow hlavním zdrojem pro programátory, kteří potřebovali poradit se svými projekty, s modelem otázek a odpovědí podobným ChatGPT.
taky: Jak zabránit novému webovému prohledávači OpenAI pro školení AI ve zpracování vašich dat
U Stack Overflow však musíte čekat, až někdo odpoví na vaši otázku, zatímco u ChatGPT nemusíte.
V důsledku toho se mnoho softwarových inženýrů a programátorů obrátilo se svými dotazy na ChatGPT. Protože neexistují žádná data ukazující, jak efektivní je ChatGPT při reakci na tyto typy výzev, Studium na Purdue University Prozkoumejte dilema.
Aby vědci viděli, jak dobře ChatGPT reaguje na výzvy softwarového inženýrství, zaslali otázky ChatGPT 517 Stack Overflow a zkoumali přesnost a kvalitu těchto odpovědí.
taky: Jak používat ChatGPT k psaní kódu
Výsledky ukázaly, že z 512 otázek bylo 259 (52 %) odpovědí ChatGPT nesprávných a pouze 248 (48 %) správných. Navíc 77 % odpovědí bylo podrobných.
Přestože byly odpovědi výrazně nepřesné, výsledky ukázaly, že odpovědi byly v 65 % případů vyčerpávající a týkaly se všech aspektů otázky.
Aby výzkumníci dále analyzovali kvalitu odpovědí ChatGPT, požádali 12 účastníků s různou úrovní zkušeností s programováním, aby poskytli své postřehy o odpovědích.
taky: Červený tým Microsoftu monitoruje AI od roku 2018. Zde je pět velkých postřehů
Ačkoli účastníci preferovali odpovědi Stack Overflow před ChatGPT napříč různými kategoriemi, jak je vidět v grafu, účastníci nedokázali správně identifikovat nesprávné odpovědi generované ChatGPT 39,34 % případů.
Podle studie dobře formulované odpovědi ve skóre ChatGPT způsobily, že uživatelé přehlédli nesprávné informace v odpovědích.
„Uživatelé ignorují nesprávné informace v odpovědích ChatGPT (39,34 % času) kvůli komplexním, dobře detailním lidským pohledům v odpovědích ChatGPT,“ napsali autoři.
taky: Jak ChatGPT může přepsat a vylepšit stávající kód
Generování zdánlivě věrohodných a nesprávných odpovědí je důležitý problém napříč všemi chatboty, protože umožňuje šíření dezinformací. Kromě tohoto rizika by nižší skóre přesnosti mělo stačit k tomu, abyste přehodnotili používání ChatGPT pro tyto typy nároků.
„Přátelský průkopník popkultury. Hodně padá. Sociální média geek. Obecný fanatik do kávy. Televizní nadšenec. Potížista.“
