SEO: дополнительный индекс Google и запрет индексации

На SEO-жаргоне его еще называют "сопливым индексом" из-за созвучности с "Supplemental Index". Продолжая проводить SEO-эксперименты над своим блогом, добрался до этапа избавления от "соплей". Он у меня проходит с попеременным успехом, было довел процент страниц в основном индексе почти до 55%, как Google на моем сайте где-то нашел 500 страниц и закинул их в дополнительный индекс, в результате у меня 34% страниц в основном индексе. Решил накопленные знания в ходе этой "борьбы" как-то систематизировать. Пост будет обновляться.

Что такое дополнительный индекс (сопли)?

В поисковике Google есть два типа индекса основной и дополнительный (Google Supplemental Index). Скорее всего есть и другие типы индекса, но эта статья посвящена именно "основному" и "дополнительному" индексу. В дополнительный индекс попадают страницы сайта, которые не несут какой-либо ценности для поисковика. Страницы из дополнительного индекса отображаются в поиске в самую последнюю очередь, если кроме этих страниц нет чего-либо подходящего по поисковому запросу.

Чем плох дополнительный индекс?

• Страницы находящиеся в этом индексе почти не дают посещений с поисковых запросов.
• Поисковики индексируют сайты частями, для этого отводиться их лимитированный ресурс, например заходя на ваш сайт поисковик намерен проиндексировать 1000 страниц и пойти дальше, к следующему сайту. Обидно если поисковик этот лимит потратит на страницы, которые не несут какой-либо ценности, вместо того, чтоб потратить их на более ценные страницы. Мало того.
• Если страницы находятся в дополнительном индексе Google, значит они бесполезны, логично предположить что и для Яндекса они тоже ценность не несут, только вот Яндекс за такие страницы, если их у вас очень много, может вообще весь сайт исключить из индекса - зачем поисковой машине тратить свое время и усилия на индексацию сайта у которого очень большой процент страниц не имеющих ценность?
• Ну и конечно, для людей, которых интересуют SEO-показатели, сайты имеющие меньший процент страниц в дополнительном индексе будут больше котироваться, чем сайты с большим процентом страниц в дополнительном (сопливом) индексе.

Какие страницы попадают в дополнительный индекс?

Повторюсь в сопливый индекс попадают страницы не несущие какой-либо ценности для поисковика, то есть:

• Дублированный контент на сайте (дубли)
• Неуникальный контент
• Страницы с отсуствующими или повторяющимися Title, Description
• Страницы с минимумом контента
• Не тематические страницы, относительно тематики сайта, которые еще не набрали вес.

Как узнать сколько страниц в дополнительном индексе?

Тут все относительно просто. Покажу на примере моего блога. Запрос в гугле

Покажет сколько страниц в основном индексе, сейчас их "About 558 results".

Запрос без знаков "/&", покажет сколько страниц всего в индексе:

Сейчас у меня в индексе всего "About 1,660 results". Выходит у меня 1660-558=1102 страниц в дополнительном индексе. В основном индексе у меня 34% страниц. Честно говоря, это не такой уж и плохой результат. Если же у вас более 50% страниц в основном индексе, то это уже считается хорошим достижением.

Следующий вопрос конечно будет "А как мне посмотреть какие именно страницы в дополнительном индексе?". Тут уже не все так просто, раньше это можно было выяснить с помощью такого запроса:

То есть показать все страницы в индексе, за исключением страниц из основного индекса. Но сейчас такой запрос не работает.

Я догадался выйти из ситуации другим методом. Разобьем сайт на части и проверим в какой из этих частей больше всего страниц в сопливом индексе. Например если вы увлекаетесь тегами, то таких страниц в сопливом индексе должно быть достаточно много, так как там дублирующийся контент, а если еще страница с тегом указывает только на одну-две статьи, то этого контента раз-два и обчелся. Под страницей с тегами подразумеваю страницы с такими адресами: elims.org.ua/blog/tag/span/

Итак, запрос "site:elims.org.ua inurl:/blog/tag/" показал 254 результата, а запрос "site:elims.org.ua/& inurl:/blog/tag/" - 3 результата. Выходит 251 страница с тегами основного подблога "/blog/" находится в сопливом индексе. Теперь я знаю над чем можно поработать. По аналогии можно проинспектировать остальные части сайта.

Как избавится от дополнительного индекса?

Есть несколько способов:

• Избавится от страниц не имеющих ценность
• Закрыть от индексации через robots.txt
• Закрыть от индексации через мета-тег robots
• Закрыть от индексации через http заголовки X-Robots-Tag
• Атрибут rel="canonical"
• Инструмент для вебмастеров "Параметры URL"
• Ручное удаление из панели вебмастеров (самый быстрый метод, но используйте только после того, как выполнили хотя бы один из предыдущих).

Далее распишу эти методы более подробно.

Самый верный и правильный метод это избавление от страниц не имеющих ценность. Ведь если все страницы вашего сайта будут ценными от этого выиграют все: вы сами, поисковики, посетители. Какие именно страницы не имеют ценность я уже упоминал, когда говорил из-за чего появляется дополнительный индекс. Возможно это не полный список причин, потому можете не поленится, погуглить и более детально изучить этот вопрос.

По поводу страниц не имеющих ценность приведу свой пример. Я изначально на блоге проставлял теги к статьям абы-как. Вот написал пост о том что купил ролики и присвоил ему тег "ролики". В результате, по прошествии лет, этот тег указывает на всего-лишь один пост. Такой тег не несет никакой ценности ни людям, ни поисковикам. У многих блогеров таких тегов очень много, получается так, что страниц с тегами больше, чем страниц с контентом и эти теги указывают в основном на один единственный пост. Вывод? Удалить к чертям бесполезные теги. Оставить только те, которые действительно выполняют полезную функцию.

Но не обязательно от страниц не имеющих ценности избавляться методом удаления, можно ее содержимое сделать более ценным: дополнить ценным контентом, либо повысить вес страниц с помощью перелинковки (внутренней или внешней). Метод повышения веса страницы правда не всегда работает - пример те же страницы с тегами, на них стоит очень много внутренних ссылок, но они все равно остаются в дополнительном индексе.

Если вы все-таки удаляете страницы, то убедитесь что после удаления сайт отдает 404 или 410 ошибки, либо вообще можете поставить с удаленных страниц 301-й (постоянный) редирект. Иначе поисковики будут думать что страница все еще существует.

Но! Не всегда можно избавиться от страниц не имеющих ценность, например в Интернет-магазинах есть ссылки вида "*/cart/add?category_id=6&product_id=110", которые предназначены для добавления товара в корзину, а сами указывают на ту же страницу, на которой находятся. Выход - запретить индексировать такие страницы.

Тут все просто, у вас в корневой папке сайта должен быть файл robots.txt в котором прописан запрет индексации не нужных страниц. На примере моего сайта и страниц с адресами */tag/ это будет выглядеть вот так:

По адресу elims.org.ua/robots.txt должен быть файл, содержащий строки:

Таким образом мы запретили всем поисковикам индексировать адреса (каталоги) /tag/ и */tag/.

Чтоб проверить корректность правил в панели вебмастеров Яндекса webmaster.yandex.ua/sites :

• Выберите ваш сайт
• Перейдите в "Настройки индексирования - Анализ robots.txt"
• Загрузите обновленный файл
• Кликните на "добавить" возле надписи "Список URL" и укажите ссылки на страницы, которые нужно проверить на доступность к индексации.
• Нажимайте кнопку "проверить" и читайте результаты

Запрет на индексацию можно проверить и в панели вебмастеров Google google.com/webmasters/tools :

• Выберите ваш сайт
• Перейдите в раздел "Состояние - Заблокированные URL"
• В область для ввода "Содержание http://ваш_сайт/robots.txt: отредактируйте для проверки изменений" введите тестовую конфигурацию robots.txt - она не сохраняется
• В области ввода "URL-адреса Укажите URL-адреса и роботов User Agent для проверки" укажите какие ссылки проверить
• Жмем кнопку "проверить"
• Читаем то, что написано ниже "Результаты проверки".

Но! Этот метод запрета индексации не всегда работает. Вот что по этому поводу говорит сам Google. Я уже около месяца назад запретил индексировать такие адреса:

А гугл такие страницы отображает, правда в снипете говорит:

Описание веб-страницы недоступно из-за ограничений в файле robots.txt.

A description for this result is not available because of this site's robots.txt

Указания (директивы) в файле robots.txt google воспринимает как советы, а не как обязательные к исполнению инструкции. Практика известных seo-блогеров показала, что более надежно работает метод с мета-тегом robots.

Еще говорят, что метод с файлом robots.txt работает на 100% если его использовать вместе с ручным удалением ненужных страниц из панели вебмастеров.

• google не будет возвращать эту страницу в индекс в течении 90 дней, а дальше как получиться.
• это очень трудозатратный метод если у Вас проиндексировалось много страниц которые вы хотите запретить в robots.txt
• вам придется постоянно проверять не появились ли где ссылки на страницы которые запрещены в robots.txt и удалять их через "ручное удаление"

Для запрета индексации страницы пропишите в html-коде страницы между тегами head

В этом вам могут помочь разные SEO-плагины, или поверхностное знание php и редактирование файла header.php в шаблоне, например код на всех страницах рубрики lifehack добавит мета-тег <meta name="robots" content="noindex, nofollow" />:

Стоит понимать, что если запретить индексирование страниц в файле robots.txt, то этот запрет будет мешать поисковику увидеть мета-тег <meta name="robots" content="noindex" /> на этих же страницах.

Метод с мета-тегом тоже не всесильный. А что если хочется закрыть от индексации изображения или rss-каналы? Ведь вы знаете что WordPress для каждой страниц создает rss-канал? Добавьте в конец адреса любой страницы "/feed/" и получите поток, то есть можно подписываться на рубрики определенной тематики, на появление новых материалов с тем или иным тегом, на комментарии любого поста и тд.. Так вот rss канал это xml-страница, а не html, потому я понятия не имею куда там вставлять мета-тег "robots". Поговорим о следующем способе.

В этом методе индексация запрещается через добавление http заголовка

Метод поддерживается гуглом и yahoo.

Добавить этот заголовок можно двумя способами: через файл .htaccess и опять-таки с помощью php-кода, или же с помощью seo-плагинов.

Закрываем изображения от индексации через .htaccess:

PHP-код у меня не заработал, потому приводить пример не буду.

Заголовки страницы можно посмотреть с помощью расширений для браузера или вот такого сервиса: mainspy.ru/otvet_servera

Вот что об этом атрибуте пишет Google. Если быть кратким, то с помощью этого атрибута поисковикам сообщается какая из нескольких страниц-дублей (находящихся на одном сайте) является оригиналом. Для этого необходимо между тегами <head></head> прописать вот такой код:

Где "http://example.com/example-page" - страница-оригинал.

Например: есть страница elims.org.ua/about и страницы-дубли: elims.org.ua/about/?replytocom=1, elims.org.ua/about/??replytocom=2, elims.org.ua/about/?replytocom=3. Если на странице elims.org.ua/about в разделе <head> будет строка

То эта же строка будет и на страницах-дублях. А значит если поисковик посетить страницу дубль, то он увидит чьим дублем эта страница является.

Этот тег автоматически добавляется с помощью любого SEO-плагина, например "All in seo pack".

Инструмент предназначен для страниц с параметрами в URL. Вот пример таких URL:

А данном примере параметр у нас "sessionid". Часто бывает что этот параметр никак не влияет на сам контент страницы, то есть он ее не меняет и нужен лишь для служебных целей, например помнить номер сессии для определения авторизованного пользователя.

В панели вебмастеров можно указать что "sessionid" не меняет содержимое страницы, или указать что меняет, но такие страницы включать в индекс не нужно.

Инструмент находиться в панели вебмастеров, выберите ваш сайт и зайдите в меню "сканирование" - "параметры URL".

Рекомендую прочесть справку Google, прежде чем начать использовать этот инструмент.

Тут придется попотеть - нужно указывать ссылку на каждую удаляемую страничку, маски не работают. Но этот метод оправдывает старания - гугл убирает страницы из индекса всего-лишь в течении нескольких часов, в отличие от недель и месяцев, если использовать предыдущие методы запрета индексирования.

В панели вебмастеров гугла этот инструмент находится по адресу "Оптимизация - удалить URL-адреса". Создаете запрос и ждите пока их статус поменяется с "Ожидается" на "Удалено".

В панели вебмастеров яндекса этот инструментарий находится по адресу - webmaster.yandex.ua/delurl.xml

Так, как у меня в файле robots.txt уже прописаны запрещающие директивы, то я решил ускорить этот процесс ручным удалением страниц из индекса. Заодно и проверю появятся ли эти страницы в индексе снова.

Какие страницы можно почистить в WordPress:

• */feed/ - в файле functions.php добавляем строку " remove_action( 'wp_head' , 'feed_links_extra' , 3);", это удалит ссылки на все rss-ленты кроме основной.
• */comments/
• */trackback/
• */tag/
• */?replytocom= - появляется при включении древовидных комментариев
• /?p=
• */comment-page-* - появляется при включении разбивки комментариев на страницы
• */author/ - если вы являетесь единственным автором, то это просто дубли страниц главной.

Вместо заключения:

• Данные в панели веб-мастеров обновляются раз в неделю, с воскресенья на понедельник. Это касается даже "самого быстрого метода" - ручного удаления.
• После всех махинаций мне удалось удалить не нужные страницы из индекса, но, как ни странно число результатов выдаваемых по запросу "site:elims.org.ua" не особо изменилось. Правда вручную я удалил только 90 страниц, дальше надоело =) Буду надеяться что проставленные метатеги и запреты в robots.txt через несколько месяцев дадут свой результат.

UPD 2013.07.27:

Прошло более двух месяцев, но страницы /trackback/ /feed/ все равно остаются в поиске, с таким описанием:

Описание веб-страницы недоступно из-за ограничений в файле robots.txt.

A description for this result is not available because of this site's robots.txt

Правда я эти страницы не удалял через инструмент ручного удаления из панели вебмастеров, так как они потом могут снова появиться в поиске через 90 дней. Посему единственно правильный метод, как я думаю, это сначала добиться того, чтоб на вашем сайте не присутствовали ссылки на не нужные страницы, и потом эти страницы удалить через инструмент ручного удаления.