Как защитить сайт от проксирования
Содержание
- Что такое проксирование сайтов?
- Зачем проксируют сайты?
- Как проксирование вредит сайту?
- Как узнать, что сайт клонировали?
- Как обезвредить копии сайта?
С каждым днем поисковые системы все более привередливы к качеству сайтов. Вебмастерам приходится немало трудиться, чтоб создать качественный контент, и, впоследствии, получить долю трафика в своей нише. И вот, вроде бы, все делаешь правильно, а трафик начинает падать без весомых на то причин. Когда узнаешь о проксировании, сразу же приходит ступор. В голове крутятся десятки вопросов, а поисковые системы вместо защиты от проксирования, в один голос учат как проксировать сайты.
Что такое проксирование сайтов?
Это дыра в современном сайтостроении, которая позволяет злоумышленникам поживиться за счет других вебмастеров без каких либо вложений.
Как будто в зеркалах, в сети появляются копии ваших сайтов, о которых, возможно, вы даже не подозреваете. Большое количество копий засоряет базы данных поисковых систем и приводит к появлению дубликатов в результатах поиска.
Зачем проксируют сайты?
Как и все мошенники, они преследуют только одну цель — финансовую наживу. Будто пиявки, эти люди будут делать все, чтобы взять хоть какую нибудь долю вашего трафика себе в карман до тех пор, пока каждый не настроит себе защиту от проксирования. Эти киберпреступники могут всего за несколько суток масштабировать свою идею на тысячи сайтов во всемирной паутине без особых на то вложений владея всего лишь базовыми навыками программирования и администрирования, для написания простых скриптов и программ. Если ваш сайт в топ 500,000 мирового рейтинга, тогда он, вероятнее всего, уже клонирован и не один раз.
Как проксирование вредит сайту?
Если не принять срочные меры, с огромной долей вероятности, сайты-прокси по многим запросам встают выше своих доноров, забирая тем самым ваш золотой трафик и ваши деньги. В поиске будет появляться множество страниц с дублированным контентом с вашего сайта. Поисковые системы будут думать, что вы наделали копии своего сайта для недобросовестных целей, за что могут наложить фильтр или, что еще хуже, удалить из поиска, оставив вместо вас клонированный сайт.
Как узнать, что сайт клонировали?
Можно придумать множество способов и вариантов, как найти проксирующие сайты, но самые простые и быстрые мы опишем ниже:
1. Берем самые популярные урлы сайта и вставляем в строку поиска поисковых систем. Чаще всего эти ссылки уже проиндексированы и на сайте-паразите, что позволит вам его найти. Чтобы не просматривать сотни страниц с результатами, мы рекомендуем добавлять перед поиском параметр inurl:
2. Сервисы для проверки текстов на уникальность и плагиат, чаще всего, так же смогут определить сайты-клоны. Для проверки необходимо найти на вашем сайте длинный текст либо просто вписать название и описание вашего сайта без доменного имени, так как он, чаще всего, меняется автоматически либо удаляется (Учитывайте, что есть даже случаи клонирования сайта с заменой всех текстов на другой язык).
Первые 2 сайта попали случайно, а вот последний в .ru зоне, как раз и является клоном третьего;
3. Google Search Console (Google Webmaster Tools) показывает ссылки на ваш сайт. Если ваши сайты перелинкованные между собой, тогда на него появится +1 ссылка с клонированного сайта;
4. Способ для тех, кто владеет администрированием или же в списке друзей или сотрудников такой имеется. Требуется детальный анализ с агрегацией логов всех используемых подсистем на наличие аномальной активности с учетом абсолютно всей доступной информации (например запрошенный URL, IP адрес запрашивающего, user-agent, cookies и много всего остального). В ручном режиме такой анализ возможно сделать, но “враг” не спит, и поэтому результаты анализа актуальны в довольно небольшом промежутке времени. Кроме того, анализ занимает много времени и ресурсов, как человеческих так вычислительных, и даже при наличии хорошего опыта в программировании и администрировании, вам будет необходимо постоянно следить и добавлять все новые и новые правила, для предотвращения клонирования вашего сайта.
Как обезвредить копии сайта?
1. Самый простой способ — жалоба (Abuse). Открываем любой whois сервис в поиске и смотрим кто регистратор домена и кто хостинг провайдер. Обычно никто не хочет защищать не чистых на руку и аккаунт или домен злоумышленника, вероятнее всего, закроют;
А что если таких доменов много и IP меняются каждые 5 минут (один из распространенных вариантов — использование Tor-сетей), а хостинг или регистратор отказоустойчивые?
2. Тут не обойтись без грамотного подхода профессионального админа. Команда Hostiserver предоставляет данную услугу для вас во всех тарифных планах, включая базовые. Также, для минимизации ложных срабатываний, наши технические специалисты, в дополнение к автоматическому анализу, делают дополнительный анализ всех подозрительных данных. Другими словами, если автоматическая система в каком-то месте сделала неправильный вывод — человек исправит ее от похожих ошибок в будущем. Исходя из того, что таких серверов на мониторинге у нас очень много, мы собираем “плохие ” сети в, так называемый, “черный список”, от чего он прилично разрастается, и это не позволяет нашим клиентам быть атакованными, так называемыми, “хакерами”.
Рассмотрим, например, такой запрос:
В данном случае нам очень интересна комбинация IP адреса запрашивающего (2е поле) и user-agent (последнее поле). Может показаться, что этот запрос приходит от гуглбота, но ознакомившись с документацией Google https://support.google.com/webmasters/answer/80553?hl=ru и выполнив нехитрую проверку.
Видим, что этот запрос не может быть от гуглбота. Можно сделать вывод, что произошла подделка user-agent , а это, как минимум, подозрительно. Любым сервисом проверяем какие домены на этом IP и, если там клоны, тогда блокируем его или перенаправляем запросы с этого адреса куда-то. Таких примеров могут быть сотни или даже тысячи. Каждый день, каждый час придумываются все новые и новые схемы обхода блокировок.
Источник: