Jak funguje procházení webu

Než váš bot může odpovídat na otázky, potřebuje obsah. Procházení je proces návštěvy vašich webových stránek, čtení každé stránky a extrakce užitečného textu. Tato stránka vysvětluje, jak crawler ChatbotIQ funguje a proč na tom záleží.

Výzva: ne všechny weby jsou stejné

Jednoduchý HTML blog se prochází snadno: stačí stáhnout stránku a přečíst text. Moderní weby jsou ale mnohem složitější:

Systémy pro správu obsahu (WordPress, Zendesk) přidávají vedle samotného článku navigaci, postranní panely, související příspěvky a obsah patičky.
Single-Page Applications (React, Vue, Angular) vykreslují obsah pomocí JavaScriptu. Počáteční HTML je často jen prázdná schránka.
Wiki platformy (Confluence) načítají obsah pomocí volání API na pozadí poté, co se vykreslí struktura stránky.

Mnoho chatbotových nástrojů zvládá jen jednoduchý případ. ChatbotIQ je navržen tak, aby zvládl všechny tyto situace.

Dva režimy zjišťování stránek

V průvodci přidáním zdroje jsou označeny jako Objevování ze sitemapy a Crawlování odkazů (pod položkou “Režim objevování” v Manuálním režimu konfigurace).

Objevování ze sitemapy: na základě sitemapy

Objevování ze sitemapy čte soubor sitemap.xml vašeho webu, aby zjistil stránky. Pro většinu webů je to rychlé a spolehlivé:

ChatbotIQ načte vaši sitemapu (nebo ji automaticky najde).
Okamžitě uvidíte seznam všech URL (v řádu sekund, ne minut).
Seznam zkontrolujete a vyberete, které stránky zahrnout.
Vybrané stránky jsou procházeny a indexovány v samostatném kroku.

Nejlepší pro: Jakýkoliv web s úplnou sitemapou: dokumentační weby, blogy, CMS platformy, většinu komerčních webů.

Crawlování odkazů: následování odkazů

Crawlování odkazů zjišťuje stránky tak, že navštíví vaši počáteční URL a následuje odkazy:

Crawler navštíví počáteční stránku pomocí skutečného prohlížeče.
Extrahuje obsah a najde na stránce všechny odkazy.
Následuje každý odkaz, aby zjistil nové stránky, a proces opakuje.
Obsah je zachycen během zjišťování (žádný samostatný krok procházení).

Nejlepší pro: Weby bez sitemapy, SPA, kde jsou odkazy generovány JavaScriptem, nebo když v sitemapě chybí stránky.

Jak funguje extrakce obsahu

Jakmile je stránka dosažena, ChatbotIQ extrahuje textový obsah. Ve výchozím nastavení se stránky načítají v plném prohlížeči, aby se zpracoval obsah vykreslený JavaScriptem. Několik nastavení vám umožňuje extrakci řídit: odstranění navigačního nepořádku pomocí Režimu čtečky, cílení na konkrétní sekce stránky pomocí Selektoru oblasti obsahu nebo úplné přeskočení prohlížeče pomocí Jednoduchého režimu u jednoduchých HTML webů.

Pokud vaše dokumentační platforma zveřejňuje markdown verzi každé stránky, jako to dělají Scroll Sites, GitBook, Mintlify nebo Redocly, ChatbotIQ automaticky zaindexuje tento zdrojový text místo vykresleného HTML. U Scroll Sites si navíc uloží verzi a variantu každé stránky, takže odpovědi vycházejí ze správné z nich.

Všechny možnosti najdete v Referenčním přehledu nastavení procházení nebo si v Nastavení procházení pro váš web přečtěte hotové recepty podle typu webu.

Ověřování kvality

ChatbotIQ neindexuje slepě vše, co stáhne. Vestavěné kontroly kvality zajišťují, že vaše znalostní báze obsahuje smysluplný obsah:

Kontrola významnosti: stránky s velmi malým množstvím skutečného obsahu se označí k vaší kontrole.
Ochrana proti degradaci: při opětovném procházení ChatbotIQ pozná, zda se obsah neočekávaně nezmenšil (např. kvůli problému na webu), a aktualizaci zablokuje, aby zabránil ztrátě dat.
Automatické ladění: při prvním procházení může ChatbotIQ sám vyzkoušet různé přístupy a vybrat ten, který z vašeho webu vytěží nejlepší obsah.

Proč jsou weby náročné na JavaScript obtížné

Mnoho moderních webů (React aplikace, Confluence atd.) nezahrnuje svůj obsah do počáteční stránky: obsah se načítá dynamicky poté, co se stránka objeví. Základní crawlery to úplně přehlédnou.

ChatbotIQ tyto weby zpracovává tak, že načítá stránky ve skutečném prohlížeči, čeká, až se obsah plně zobrazí, a teprve poté jej extrahuje. U pomalejších webů dává nastavení Čekací doba na obsah stránky (sekundy) stránkám čas navíc na dokončení načítání.

Co se děje po procházení

Po extrakci obsahu jej ChatbotIQ automaticky zpracuje: vyčistí HTML, rozdělí jej na vyhledatelné části a zpřístupní jej pro použití vaším botem. To probíhá na pozadí a obvykle to trvá několik minut.

Související

Nastavení procházení pro váš web - praktické recepty
Referenční přehled nastavení procházení - vysvětlení každého nastavení
Jak funguje RAG - co se děje po indexaci obsahu