robots.txt генератор
Съставете правилен robots.txt — и разберете кое в него може да ви навреди.
Безплатно · Без регистрация · Работи в браузъра
robots.txt е малък файл с голяма власт. Един ред на грешно място изважда сайта от Google — без съобщение за грешка, просто позициите изтичат през следващите седмици.
Готови правила
Готов robots.txt
Запишете го като robots.txt в главната папка на сайта — трябва да се отваря на вашия-домейн.bg/robots.txt
Честа грешка
Disallow не премахва страница от Google. Той спира обхождането — адресът може да остане в индекса без описание, а Google никога няма да види noindex етикета върху него. За премахване използвайте noindex и оставете страницата обходима.
Как да го използвате
- Изберете готова настройка според това, на какво работи сайтът.
- Добавете свои забрани, ако имате папки, които не искате обходени.
- Впишете адреса на sitemap.xml — така Google го намира веднага.
- Запишете файла в главната папка и проверете, че се отваря на /robots.txt.
Какво да знаете
Най-честото недоразумение: Disallow не премахва страница от Google. Той спира обхождането — адресът може да остане в индекса без описание, а Google никога няма да види noindex етикета върху него. За премахване се използва noindex, а страницата се оставя обходима.
Разкажете ни накратко какво ви трябва. Отговаряме в рамките на един работен ден — с конкретни идеи, срок и цена.