14.05.1996  Новости

 Хотя “пауки” полезны для ускорения и облегчения доступа к страницам World-Wide Web на серверах предприятий, в случае, если они по какой-то причине начнут вызывать проблемы, их можно уничтожить.  Для этой цели поместите файл robots.txt, который, согласно протоколу, исключает работу роботов, в корневой каталог вашего сервера Web.  После этого любой “паук”, подчиняющийся протоколу, добровольно покинет узел.  Первый пример показывает, как запретить определенному “пауку” вход в каталог /tmp. Имя и идентификатор перепишите из файла регистрации сервера Web.  Может иметь смысл исключить каталог, содержащий слишком много информации, привлекательной для данного “паука” (что приводит к чрезмерной загрузке ресурсов сервера), определенную незаконченную страницу Web или даже сообщения об ошибках, которые могут неблагоприятно ... читать далее.