В связи с тем, что меня частенько стали спрашивать о meta-теге robots и его
возможном применении, я и написал эту статью, в которой рассмотрел возможные
значения данного meta-тега.
В конце статьи я привожу названия роботов основных поисковых систем.
Перед тем, как начать, хочу продемонстрировать синтаксис изучаемого meta-тега:
Код:
<meta name=”robots” value=” значение “>
Возможные значения meta-тега robots
* Index. Разрешает поисковым роботам индексировать страницу. Устанавливать
необязательно, т.к. он стоит по умолчанию.
* Noindex. Запрещает поисковым системам отображать страницу в результатах
поиска.
* None. Это то же самое, что и noindex,nofollow. Запрещает поисковым системам
делать что-либо со страницей.
* Follow. Разрешает поисковым роботам следовать по ссылкам на странице.
* Nofollow. Запрещает поисковым роботам следовать по ссылкам на странице.
* Noarchive. Запрещает поисковым системам показывать закешированную копию
страницы.
* Nocache. То же самое, что и noarchive, но только для MSN/Live.
* Nosnippet. Запрещает поисковым системам показывать сниппет для страницы в
результатах поисковой выдачи.
* Noodp. Запрещает поисковым системам использовать в качестве сниппета для
страницы сайта в результатах поисковой выдачи ее описание в каталоге DMOZ (ODP).
* Noydir. Запрещает Yahoo! использовать в качестве сниппета для страницы сайта в
результатах поисковой выдачи ее описание в каталоге Yahoo! directory.