Все не так, как кажется… Кажется, ни к одной другой области, кроме интернета, эта истина не подходит настолько точно. Вроде, есть полная анонимность – а нигде нельзя оставить столько следов, как в Сети. Даже на свежевыпавшем снеге. Вроде, задача поисковой машины – найти нужную информацию по грамотно составленному запросу. А на самом деле эта машина начинает управлять информацией, точно приближаются времена «Матрицы».
Об этом мало знают. Точнее, знают только те, кто способен наблюдать, анализировать и делать выводы. Один из таких людей, пока еще противостоящих власти машин, - сетевой мыслитель Андрей Шипилов.
Изюм Сети – его статья «Главный регулятор Рунета» на finam.info: http://finam.info/need/news214D600001/

Андрей Шипилов способен ощутить то, что другим недоступно

Были времена, когда Яндекс просто зеркально отображал содержание Рунета, никак в него не вмешиваясь и не влияя на него. Но те времена прошли. Сегодня все идет к тому, что только Яндекс и никто другой будет решать, каким должен быть Рунет, как он должен выглядеть, что он должен говорить, и каким образом вести бизнес.

Некоторое время назад я опубликовал колонку, где в качестве одной из мер по борьбе с воровством контента рекомендовал настучать на вора в поисковую систему. Я исходил из тех соображений, что воруют контент по большей части манимейкеры, чтобы сделать из него псеводсайт, а Яндекс на такие псевдосайты делает стойку, как сеттер на дичь и расправляется с ними похлеще всякого охотника.

Вернее расправлялся раньше. Сейчас жалобщики все чаще получают отписку в духе, что мы, дескать, как поисковая система, являемся всего лишь зеркалом Рунета и отображаем текущую ситуацию в нем, и не наша задача разбираться кто из вас прав, а кто виноват. Звучит красиво, но – неправда.

Действительно были времена, когда Яндекс просто зеркально отображал содержание Рунета, никак в него не вмешиваясь и не влияя на него. Но те времена прошли. Нынешний Яндекс можно уподобить садовнику-селекционеру, который взяв ножницы придает сайтам правильный с его точки зрения вид, а те куст... ой, извините сайты, которые не могут или не хотят быть подстрижены должным образом выбрасывает из поиска нафиг. Все идет к тому, что только Яндекс и никто другой будет решать, каким должен быть Рунет, как он должен выглядеть, что он должен говорить, и каким образом вести бизнес.

Так получилось, что между жителями интернета и поисковыми машинами помимо дружбы существует соперничество, перманентно оборачивающееся подковерной войной. Каждый владелец сайта хочет, чтобы его сайт показывался поисковой машиной при поиске на первой странице, и желательно в первых строках. Поисковая машина, естественно, не может показать на первых позициях все сайты, а потому при помощи хитроумных алгоритмов выбирает сайты, наиболее достойные с ее точки зрения.

Владельцы стараются разгадать алгоритмы, по которым поисковая машина отбирает «лучшие сайты» и подстроить свои сайты под эти алгоритмы. А поисковая машина, в свою очередь, при помощи других алгоритмов старается вычислить те сайты, которые специально подстраиваются под ее алгоритмы и отодвинуть их назад, чтобы не лезли вне очереди.

Вот вся эта перманентная возня называется красивой фразой «поисковая оптимизация». Эта возня идет по всему интернету и со всеми поисковыми машинами, однако применительно к Яндексу она имеет одну особенность. Яндекс, пожалуй, - единственная поисковая машина в мире, которая может не только отодвинуть назад сайт, лезущий вне очереди, но и «наказать» его, совсем выбросив из своего поиска. Такое выбрасывание, называемое сухим официальным языком «запрет индексации», а в просторечии «баном», является по сути смертным приговором для сайта. Он остается доступным через другие поисковые системы, через тот же Google, например, но уж слишком много людей пользуется для поиска только Яндексом.

Строго говоря, к «банам» прибегают все поисковые системы. Но если все поисковые системы «банят» только сайты наносящие очевидный и несомненный вред, то Яндекс отстреливает насмерть и те нормальные сайты, которые не будучи очевидно вредоносными, просто попытались понять свои позиции в поиске. Или ему показалось, что попытались поднять.

Разумеется, решение об «отстреле» того или иного сайта принимается не человеком, а сложными алгоритмами по множеству критериев. Алгоритмам же, увы, свойственно ошибаться. Одним из неприятных особенностей этих алгоритмов является то, что под раздачу могут попасть не только «виновные» сайты, но и сайты, которые только «выглядят подозрительно». Надеюсь, со временем эта политика будет прекращена, но пока она действует, и с ней надо считаться.

Например, очень часто недобросовестные оптимизаторы используют для обмана поисковых машин псевдосайты, состоящие практически из одних картинок, поскольку такие сайты можно легко генерировать в больших количествах автоматическом режиме. Соответственно, ваша «честная» фотогалерея может быть принята за такой псевдосайт и отправлена в бан. Очень часто псевдосайты делаются из материалов, сворованных с других сайтов. И если вдруг на вашем сайте будет избыток RSS-лент, вы также можете попасть под раздачу.

Писать, жаловаться в саппорт Яндекса, как правило бесполезно. Никто никогда не сообщит вам причины, по которым ваш сайт выпал из индекса. Это в общем-то понятно и разумно. Если эти причины озвучивать, то настоящие злоумышленники возьмут информацию на вооружение и будут обходить фильтры. Поэтому остается только уповать на то, что сотрудник Яндекса проявит индивидуальный подход к вашей проблеме. Однако шансов на это с каждым годом все меньше. Вылет сайтов происходит сейчас в весьма широких масштабах и на индивидуальный подход к каждой жалобе, как показывает текущая практика, времени уже не остается.

В итоге, если при работе с любыми другими поисковыми машинами создатели сайтов принимают меры, чтобы сайт оказывался на первых страницах выдачи, то в Рунете наиболее продвинутые специалисты сейчас начинают принимать двоякие меры: отдельные меры, чтобы сайт хорошо был виден пользователям в поисковках, и отдельные меры, чтобы он не вылетел из индекса Яндекса.

Все это может привести к тому, что Яндекс из поисковой машины, отображающей состояние Рунета, потихоньку превратится в инструмент прогибающий Рунет под свои специфические требования. Не факт, конечно, но вполне возможно дело закончится тем, что из русского интернета уйдут самобытные, но непонятные для Яндекса сайты, и он окажется забит «правильными» с точки зрения алгоритмов Яндекса строго стандартными сайтами. А шаг вправо, шаг влево от стандартов будет караться высшей мерой – исключением сайта из поискового индекса.

Можно было бы отнестись ко всему выше сказанному, как к фантастике, но, похоже, этот процесс уже сейчас идет полным ходом. Как я уже писал в колонке про так называемый фильтр Яндекса АГС-17, в течение первых месяцев этого года поисковая база Яндекса сократилась по некоторым направлениям на десятки процентов. Причем не только за счет выбрасывания сайтов сомнительного содержания, но и за счет ликвидации вполне нормальных сайтов, и более того, за счет весьма серьезных, а иногда и культовых проектов. Некоторые примеры я привел в той статье, в частности почти полностью вылетели из поиска сайты news2.ru и Министерства транспорта РФ.


АГС-17

В настоящее время по некоторым интернет-отраслям количество таких «вылетевших» сайтов составляет десятки процентов, что, согласитесь, уже явный повод задуматься и забеспокоиться. Характерный симптом заболевшего сайта: вылетает он не целиком (как это бывает когда Яндекс «банит» вредоносный с его точки зрения сайт), в индексе всегда остается от 1 до 15 страниц, что позволяет службе поддержки Яндекса отвечать на недоуменные вопросы владельцев стандартной отпиской, дескать, что вы волнуетесь, ваш сайт все же присутствует в поиске, ну а то, что присутствует не все страницы – так вы это, типа, работайте, улучшайте сайт.

Вот именно за эту тенденцию, за бесконечное сование сайтов туда-обратно в индекс Яндекса с последующим выниманием их из индекса, мы и прозвали этот процесс «Великим мастурбатором», когда столкнулись с ним год назад.

«Мы» это группа аналитиков, которым в августе прошлого года одно издание заказало некое исследование оптимизаторского рынка и предоставило для этой цели возможность работать аж с несколькими сотнями сайтов разного уровня и качества. Потом, по кризису, издательство сначала отказалось платить, а потом и вообще накрылось медным тазом. А раз так, то, сосласитесь, я немножко вправе, ввиду отсуствия заказчика, поделиться малой толикой полученных результатов.

Прежде всего хочу задать такой вопрос к вебмастерам, работающим с достаточно большими пулами сайтов. Скажите, а разве раньше не случалось, чтобы у вас выпадал какой-нибудь сайт именно таким образом, - чтобы оствалось 1-15 страниц? Наверняка ведь случалось. Но вы не придавали особого значения, так как не видели в этом системы из-за относительно малого количества сайтов. На 1 сайте из 20 ее просто не видно.

А на десятках из сотен – видно очень даже хорошо. Отслеживая с августа по май не одну сотню сайтов, мы эту тенденцию заметили в начале прошлой осени, твердо уверились в ее наличии к началу зимы, и поняли в общих чертах, как она работает к концу весны. Прозвана она была «Мастурбатором Яндекса», так как сайты, попавшие под нее, начинали сновать туда-обратно из индекса.

В начале сентября, когда начались вылеты, я (увы, не имея уже доступа к упомянутым ранее сотням сайтов) собрал по сусекам у знакомых и клиентов информацию по их сайтам – всего около сотни – и, исходя из известной мне логики мастурбатора, составил прогноз вылета части этих сайтов. Прогноз сбылся с достаточной точностью, чтобы понять, что мы имеем дело все с тем же мастурбатором.

Но коль скоро в народе уже утвердилось другое название этого фильтра, АГС-17, я буду использовать именно его.

Итак, что такое этот самый мастурбатор - АГС-17.

1. Он представляет собой независимый процесс (робот, алгоритм, фильтр – не знаю, как сказать правильно, я в терминологии не силен), работающий автономно по своим собственным правилам и – видимо – не обменивающийся или почти не обменивающийся информацией с другими процессами. АГС-17 пользуется базой страниц, который собрал робот-индексатор, но при этом не информирует индексатора, что нужно брать, а что не нужно брать в индекс. Индексатор загружает все. А АГС-17 чистит уже загруженные страницы и делает это несинхронно с индексацией. Если ваша страница попала в индекс сегодня, то АГС-17 может добраться до нее и сегодня, и завтра и через месяц. А может, кстати, при определенных условиях (например, если будете делать упомянутые ниже прививки) и вовсе не добраться.

2. АГС-17 видимо самонастраивающийся процесс, при этом не исключено, что он может корректировать свои алгоритмы и без участия человека. Например, была замечена совершенно четкая тенденция: если достаточно большое количество забракованных АГС-17 страниц на разных сайтах содержало в URI какой-то определенный шаблон, АГС-17 начинал браковать все страницы URI-которых попадал под этот шаблон. Так, например, в какой-то период времени из индекса выпадали все страницы сформированные джумловским компонентом «Аккокомент», независимо от их содержания, или страницы содержащие в URI параметр searchword.

3. АГС17 можно уподобить вирусу. Если он однажды прицепился к вашему сайту, то он будет теребить его бесконечно, поэтому тут уместно будет использовать выражение «сайт, зараженный АГС17». Как и от любого вируса, от АГС17 можно вылечиться, но об этом чуть позже.

4. Большая часть правил по которым АГС-17 выкидывает страницы – не вечна и живет ограниченный срок. Например в начале мая searchword получил реабилитацию. У некоторых моих коллег возникла версия (я не являюсь ее сторонником), что набор правил, по которым работает АГС-17, имеет ограниченный диапазон и новые «более важные» правила, вытесняют «менее важные» старые.

Полностью – на сайте Андрея Шипилова shipilov.com: http://shipilov.com/index.php?option=com_content&task=view&id=82