Robots.txt je textový súbor umiestnený v koreňovom adresári webovej stránky, ktorý slúži na komunikáciu s vyhľadávacími robotmi (crawlermi). Hovorí im, ktoré časti webu môžu alebo nemôžu prehľadávať a indexovať. Tento súbor dáva pokyny robotom vyhľadávačov o tom, ktoré časti stránky by mali byť indexované alebo preskúmané. Jeho cieľom je ovplyvniť to, ako vyhľadávače prechádzajú a indexujú obsah webových stránok. Vďaka nemu môžu webmasteri kontrolovať, ako vyhľadávače spracovávajú ich webový obsah.
Tip:
Vytvorte robots.txt súbor pre vašu webovú stránku a správne ho nastavte, aby ste zabezpečili optimálne indexovanie.
Prečo je robots.txt dôležitý?
Robots.txt je dôležitý, pretože:
- umožňuje kontrolovať prístup vyhľadávačov k vašej webovej stránke.
- môže zabrániť indexovaniu citlivých alebo nedôležitých stránok.
- môže pomôcť zlepšiť efektivitu crawl budgetu.
- je dôležitým faktorom pre SEO.
Ako vytvoriť robots.txt?
Robots.txt súbor môžete vytvoriť v jednoduchom textovom editore a uložiť ho ako „robots.txt“ do koreňového adresára vašej webovej stránky.
Príkazy v robots.txt:
- User-agent: Určuje, na ktorého robota sa pravidlo vzťahuje.
- Disallow: Zakazuje prístup na určitú stránku alebo adresár.
- Allow: Povoľuje prístup na určitú stránku alebo adresár.
- Sitemap: Uvádza umiestnenie sitemap súboru.
Robots.txt je jednoduchý, ale dôležitý súbor, ktorý môže významne ovplyvniť SEO vašej webovej stránky.
« Späť do slovníka