Robots.txt

« Back to Glossary Index

Robots.txt je textový súbor umiestnený v koreňovom adresári webovej stránky, ktorý slúži na komunikáciu s vyhľadávacími robotmi (crawlermi). Hovorí im, ktoré časti webu môžu alebo nemôžu prehľadávať a indexovať. Tento súbor dáva pokyny robotom vyhľadávačov o tom, ktoré časti stránky by mali byť indexované alebo preskúmané. Jeho cieľom je ovplyvniť to, ako vyhľadávače prechádzajú a indexujú obsah webových stránok. Vďaka nemu môžu webmasteri kontrolovať, ako vyhľadávače spracovávajú ich webový obsah.

Tip:

Vytvorte robots.txt súbor pre vašu webovú stránku a správne ho nastavte, aby ste zabezpečili optimálne indexovanie.

Prečo je robots.txt dôležitý?

Robots.txt je dôležitý, pretože:

  • umožňuje kontrolovať prístup vyhľadávačov k vašej webovej stránke.
  • môže zabrániť indexovaniu citlivých alebo nedôležitých stránok.
  • môže pomôcť zlepšiť efektivitu crawl budgetu.
  • je dôležitým faktorom pre SEO.

Ako vytvoriť robots.txt?

Robots.txt súbor môžete vytvoriť v jednoduchom textovom editore a uložiť ho ako „robots.txt“ do koreňového adresára vašej webovej stránky.

Príkazy v robots.txt:

  • User-agent: Určuje, na ktorého robota sa pravidlo vzťahuje.
  • Disallow: Zakazuje prístup na určitú stránku alebo adresár.
  • Allow: Povoľuje prístup na určitú stránku alebo adresár.
  • Sitemap: Uvádza umiestnenie sitemap súboru.

Robots.txt je jednoduchý, ale dôležitý súbor, ktorý môže významne ovplyvniť SEO vašej webovej stránky.

« Späť do slovníka