Перейти к содержимому
Тестовая версия сайта. Данные могут быть удалены.
SeoSet.app

О боте SeoSetBot

SeoSetBot — программа, с помощью которой SeoSet.app читает публичные страницы, когда проводит бесплатную проверку сайта. Если вы нашли его в логах своего сервера, здесь написано, кто его запускает, что он читает и как закрыть от него сайт.

Кто его запускает

SeoSetBot запускает SeoSet.app, сервис на этом сайте: проверка локального SEO для домашних сервисов и подрядчиков.

Вопросы о боте и просьбы не проверять ваш сайт присылайте на support@seoset.app.

Как он представляется

Каждый запрос содержит такой заголовок User-Agent. Адрес в его конце ведёт на страницу о боте, а в robots.txt бот называется SeoSetBot.

Mozilla/5.0 (compatible; SeoSetBot/1.0; +https://localrate.store/en/bot)

Что он читает

SeoSetBot делает только обычные GET-запросы к публичным страницам. Он не входит в аккаунты, не заполняет и не отправляет формы, не ищет уязвимости и ничего не меняет на сайте.

Сайт, адрес которого ввели в форму проверки

Посетитель вводит адрес сайта в форму на этом сайте, и SeoSetBot читает сайт по этому адресу для проверки: его главную страницу, файл robots.txt, карту сайта и до 20 других страниц.

Сайты конкурентов

Для каждой проверки — до 3 сайтов конкурентов, которые веб-поиск показывает по услуге и городу. У каждого из них SeoSetBot читает robots.txt, главную страницу, карту сайта и не больше 2 вложенных карт. Других страниц этих сайтов он не открывает: он лишь смотрит адреса страниц из карты сайта и ссылки на главной, чтобы понять, есть ли отдельные страницы под услуги. Эти адреса и названия сайтов мы не сохраняем, только свои счётчики.

Как он ведёт себя на сайтах конкурентов

  • Сначала он читает robots.txt и соблюдает его. Если в файле есть группа для SeoSetBot, действует она, иначе действует группа для всех роботов (*).
  • К одному сайту он отправляет один запрос за раз.
  • Если robots.txt прочитать не удалось, потому что сервер ответил ошибкой 5xx или кодом 429 (слишком много запросов) либо не ответил, бот пропускает сайт и больше ничего с него не читает. Если файла нет (например, ответ 404), всё считается разрешённым.

Как закрыть от него сайт

Чтобы закрыть от SeoSetBot весь сайт, добавьте эти строки в файл robots.txt в корне сайта:

User-agent: SeoSetBot
Disallow: /

Чтобы закрыть только часть сайта, вместо / укажите её путь, например Disallow: /private/.

Этот файл останавливает SeoSetBot, когда он читает ваш сайт как сайт конкурента. Он не останавливает проверку, которую запустил посетитель, введя адрес вашего сайта в форму: такая проверка читает сайт, потому что её об этом попросили. Если вы не хотите, чтобы ваш сайт проверяли, напишите на support@seoset.app, и мы рассмотрим ваш запрос.