Информация за Уебмастерите

1. Колко често NetinfoBot ще има достъп до моите уебсайтове?

Първоначално ботът ще има достъп до сайта Ви на всеки 24 часа. Честотата ще се промени след време след като натрупаме детайлна статистика за честотата на обновяване Вашия сайт. Ако открием, че сайтът Ви се обновява веднъж седмично, тогава той ще бъде преглеждан веднъж в седмицата.

2. Защо NetinfoBot търси файл robots.txt, който не е на моя сървър?

robots.txt е стандартен файл, който казва на NetinfoBot до кои части на вашия сайт да има достъп.

3. Как да поискам NetinfoBot да не претърсва отчасти или изцяло моя уебсайт?

Уебпаяците се подчиняват на файла robots.txt, разположен в главната директория на Вашия уебсървър. Файлът може да каже на NetinfoBot да не сваля определена част или целия Ви уебсайт.

4. Как да избегна NetinfoBot да претърсва отчасти или изцяло моя уебсайт?

Форматът на robots.txt е определен от Robots Exclusion standard (http://www.robotstxt.org/wc/exclusion.html#robotstxt). За подробни инструкции как да избегнете NetinfoBot да претърсва отчасти или изцяло вашия сайт, моля погледнете по-надолу. Промените във файла robots.txt, намиращ се на Вашия сървър, ще се отразят при първото последващо претърсване на сайта ви от NetinfoBot.

5. Защо NetinfoBot се опитва да свали грешни линкове от моя сървър или от сървър, който не съществува?

Причината е, че много линкове на сайта са неработещи или са вече остарели. Когато някой публикува грешен линк на Вашия уебсайт (например поради грешно въвеждане или правописна грешка), или не успее да обнови линковете, съобразно с промените на Вашия сървър, NetinfoBot ще се опита да свали грешен линк от сайта Ви. Това обяснява и факта, че може да има линкове към машина, която дори не е уебсървър.

6. NetinfoBot претърсва сайта ми прекалено бързо, какво мога да направя?

NetinfoBot изпълнява ‘crawl-delay’ параметър във файла robots.txt. Ако желаете да увеличите времето на 60 секунди, моля добавете нещо подобно на следния пример във Вашия robots.txt файл:
User-agent: NetinfoBot
Crawl-delay: 60
Време по-дълго от 120 секунди, може да доведе до това сайтът Ви да остане непретърсен.

7. Защо NetinfoBot не се подчинява на robots.txt файла?

Моля обърнете се към нас с URL-адреса на уебсайта Ви и подробно описание на проблема. Включете и частта на уеб лога, който показва достъпа на NetinfoBot, за да локализираме проблема по-бързо.

NetinfoBot предлага проверка на синтаксиса на вашия robots.txt в сравнение със стандартния, публикуван на http://www.robotstxt.org/wc/exclusion.html#robotstxt. Често се случва причината да е в това, че robots.txt не се намира в главната директория на сървъра (напр. www.myhost.com/robots.txt). Ако този файл е в поддиректория, той не може да изпълнява предназначението си.

8. Защо има отговори от многобройни машини от Netinfo.bg, всичките използващи един същ user-agent?

NetinfoBot е проектиран да бъде инсталиран на различни машини, с оглед подобряване производителността му, както и поемане на обслужването при нарастване на заетото дисково пространство.

9. Мога ли да получа информация за IP адреса, от който NetinfoBot претърсва, за да мога да филтрирам логовете си?

IP адресите, използвани от NetinfoBot се променят, когато добавяме сървъри. Най-добрият начин за да следите достъпа на NetinfoBot, е използването на user-agent (NetinfoBot).

10. Защо NetinfoBot сваля една и съща страница от моя сайт многократно?

В общия случай при претърсването на сайта Ви, NetinfoBot би свалил само едно копие на всеки файл. Понякога и в редки случаи, паякът спира нормалната си работа и се рестартира. Това може да доведе до ново претърсване на страницата.

11. Към кого да се обърна за проблеми или предложения свързани с работата на NetinfoBot.

За всякакви проблеми или предложения свързани с NetinfoBot моля пишете на netinfobot at netinfo dot bg.