Jak nakonfigurovat procházení pro váš web
Každý web se prochází trochu jinak. Tento návod nabízí hotové recepty pro nejběžnější typy webů. Stačí vybrat ten, který odpovídá vašemu webu, použít nastavení a máte hotovo.
Nevíte, jaký typ webu máte? Nechte průvodce v režimu konfigurace AI asistent a nastavení vybere za vás. Pokud chcete ladit ručně, přepněte na režim Manuální, zvolte Objevování ze sitemapy a otevřete Pokročilé možnosti. Nastavení měňte, jen když se obsah vrací prázdný nebo zašuměný.
Tip: zkuste nejdřív Preset webu. V Manuálním režimu se v Pokročilých možnostech nahoře nachází výběr Preset webu (Standardní web, SPA / JavaScript aplikace, Confluence / Wiki, Statický web / Blog). Po výběru se vyplní všechna nastavení pro daný typ webu a vy je můžete doladit. Recepty níže těmto presetům odpovídají.
Kompletní přehled všech nastavení i jejich významu najdete v Referenci nastavení procházení.
Tabulka rychlého rozhodování
Sekce “Tabulka rychlého rozhodování”| Typ vašeho webu | Režim objevování | Preset | Klíčová nastavení | Rychlost |
|---|---|---|---|---|
| Statické dokumenty (Docusaurus, MkDocs, Hugo, Jekyll) | Objevování ze sitemapy | Statický web / Blog | Jednoduchý režim ZAP | Nejrychlejší |
| WordPress / CMS blog | Objevování ze sitemapy | Standardní web | Režim čtečky ZAP | Rychlé |
| React / Vue / Angular SPA | Crawlování odkazů | SPA / JavaScript aplikace | Režim čtečky ZAP, Pokročilá detekce odkazů ZAP | Pomalejší |
| Confluence / Wiki | Crawlování odkazů | Confluence / Wiki | Režim čtečky ZAP, Selektor oblasti obsahu, souběžnost 2-3 | Nejpomalejší |
| Jakýkoli web bez sitemap | Crawlování odkazů | Upravte podle typu webu výše | Upravte podle typu webu výše | Různé |
| Velký web (1 000+ stránek) | Objevování ze sitemapy (pokud existuje sitemap) | Standardní web | Vyladit Max. stránek a souběžnost | Různé |
Recept: Statický dokumentační web
Sekce “Recept: Statický dokumentační web”Příklady: Docusaurus, MkDocs, ReadTheDocs, Hugo, Jekyll
| Nastavení | Hodnota |
|---|---|
| Režim objevování | Objevování ze sitemapy |
| Preset webu | Statický web / Blog |
| Jednoduchý režim | ZAP |
| Režim čtečky | VYP |
| Souběžnost | 6-8 |
Proč to funguje: tyto nástroje generují čisté HTML se sitemapami. Není potřeba renderování prohlížečem ani čištění obsahu, takže jde o nejrychlejší možnou konfiguraci.
Recept: WordPress nebo CMS blog
Sekce “Recept: WordPress nebo CMS blog”Příklady: WordPress, Ghost, Webflow, Squarespace
| Nastavení | Hodnota |
|---|---|
| Režim objevování | Objevování ze sitemapy |
| Preset webu | Standardní web |
| Jednoduchý režim | VYP |
| Režim čtečky | ZAP |
| Souběžnost | 5-8 |
Proč to funguje: CMS weby obvykle mají sitemapy, ale jsou plné postranních panelů, souvisejících příspěvků, reklam a navigace, které vám znečišťují znalostní bázi. Režim čtečky tohle všechno odstraní a ponechá jen text článku.
Recept: React / Vue / Angular SPA
Sekce “Recept: React / Vue / Angular SPA”Příklady: Vlastní dokumentační portály, Storybook, znalostní báze založené na SPA
| Nastavení | Hodnota |
|---|---|
| Režim objevování | Crawlování odkazů |
| Preset webu | SPA / JavaScript aplikace |
| Režim čtečky | ZAP |
| Pokročilá detekce odkazů | ZAP |
| Čekací doba na obsah stránky (sekundy) | 2-3 sekundy |
| Max. hloubka | 10-15 |
| Souběžnost | 5 |
Proč to funguje: moderní webové aplikace (SPA) sestavují stránky dynamicky v JavaScriptu a navigační odkazy často před běžnými crawlery skrývají. Pokročilá detekce odkazů tyto skryté odkazy najde a prohlížeč vykreslí celý obsah stránky. Spousta chatbotích nástrojů si s takovými weby vůbec neporadí, ChatbotIQ je rozpozná automaticky a přizpůsobí se.
Recept: Confluence nebo wiki
Sekce “Recept: Confluence nebo wiki”Příklady: Confluence Cloud, Confluence Server, MediaWiki
| Nastavení | Hodnota |
|---|---|
| Režim objevování | Crawlování odkazů |
| Preset webu | Confluence / Wiki |
| Režim čtečky | ZAP |
| Selektor oblasti obsahu | #main-content (pokud si nejste jistí, zeptejte se svého vývojáře) |
| Čekací doba na obsah stránky (sekundy) | 3 sekundy |
| Souběžnost | 2-3 |
| Max. hloubka | 15-20 |
Proč to funguje: Confluence dotahuje obsah na pozadí až poté, co se stránka zobrazí, proto potřebuje delší čekání. Nízká souběžnost brání tomu, aby crawler narazil na blokaci (Confluence agresivně omezuje četnost požadavků). Selektor oblasti obsahu míří přímo na oblast článku a vynechá menu i postranní panel Confluence.
Důležité: vysoká souběžnost u Confluence vyvolá chyby 429 (omezení četnosti). Držte ji na 2-3.
Recept: Web bez sitemap
Sekce “Recept: Web bez sitemap”Příklady: Starší weby, ručně psaný HTML, různé webové aplikace
| Nastavení | Hodnota |
|---|---|
| Režim objevování | Crawlování odkazů |
| Jednoduchý režim | ZAP, pokud je statický HTML, VYP, pokud JavaScript |
| Režim čtečky | ZAP |
| Max. stránek | Začněte se 100, po kontrole zvyšte |
| Max. hloubka | 5-10 |
| Souběžnost | 5-8 |
Proč to funguje: bez sitemapy je Crawlování odkazů jediná možnost, protože stránky objevuje sledováním odkazů. Začněte s nižším limitem stránek a ověřte si, že crawler nachází ty správné, teprve pak limit zvyšujte.
Recept: Velký web (1 000+ stránek)
Sekce “Recept: Velký web (1 000+ stránek)”Příklady: Podniková dokumentace, velké znalostní báze
| Nastavení | Hodnota |
|---|---|
| Režim objevování | Objevování ze sitemapy (pokud existuje sitemap) |
| Preset webu | Standardní web |
| Režim čtečky | ZAP (pokud je potřeba) |
| Max. stránek | Limit stránek vašeho tarifu |
| Souběžnost | 6-8 |
Proč to funguje: Objevování ze sitemapy zvládá velké weby efektivně, protože objevování je díky sitemapě okamžité. Vysoká souběžnost urychluje samotné procházení. Když web sitemapu nemá, sáhněte po Crawlování odkazů, ale počítejte s delším objevováním.
Kompromisy mezi rychlostí a pokrytím
Sekce “Kompromisy mezi rychlostí a pokrytím”Od nejrychlejšího po nejpomalejší
Sekce “Od nejrychlejšího po nejpomalejší”| Konfigurace | Rychlost | Vhodné pro |
|---|---|---|
| Objevování ze sitemapy + Jednoduchý režim | ~100+ stránek/min | Statický HTML se sitemap |
| Objevování ze sitemapy + prohlížeč (výchozí) | ~20-30 stránek/min | CMS/WordPress se sitemap |
| Crawlování odkazů + prohlížeč | ~10-20 stránek/min | SPA, weby bez sitemap |
| Crawlování odkazů + Režim čtečky | ~5-15 stránek/min | Weby náročné na JS vyžadující čisté extrahování |
| Crawlování odkazů + Režim čtečky + nízká souběžnost | ~2-5 stránek/min | Confluence, weby s omezením četnosti |
Nejlepší univerzální volba
Sekce “Nejlepší univerzální volba”Objevování ze sitemapy + Režim čtečky ZAP pokryje zhruba 70 % webů. Funguje na jakémkoli webu se sitemapou a obsahem renderovaným na serveru.
Když potřebujete maximální pokrytí, Crawlování odkazů + Režim čtečky + Pokročilá detekce odkazů zvládne kolem 95 % webů, jen pomaleji.
Kdy vyměnit rychlost za pokrytí
Sekce “Kdy vyměnit rychlost za pokrytí”- Začněte rychle: zkuste Objevování ze sitemapy s výchozím nastavením. Když se stránky vracejí s dobrým obsahem, máte hotovo.
- Stupňujte podle potřeby: chybí-li obsah nebo je zašuměný, zapněte Režim čtečky. Pokud stránky chybí úplně, přepněte na Crawlování odkazů.
- Zpomalujte jen tam, kde to jde jinak nejde: nízká souběžnost a delší Čekací doba na obsah stránky jsou potřeba jen u specifických webů, jako je Confluence.
Pokud vaše procházení nefunguje podle očekávání, podívejte se na sekci řešení potíží s procházením pro běžné problémy a opravy.
Související
Sekce “Související”- Reference nastavení procházení - každé nastavení s typem, výchozí hodnotou a popisem
- Jak funguje procházení webu - pochopte Objevování ze sitemapy vs. Crawlování odkazů
- Přidat zdroj typu web - základy přidávání zdroje
- Udržujte obsah aktuální - strategie opětovného procházení a obnovování