Почему так важно избавляться от спама в Google Analytics?

Google Analytics является самым мощным сервисом веб-аналитики в сети Интернет, Yandex-метрика хороша, но уступает во многом. Он дает много инструментов и функций для анализа трафика, поступающего на наш сайт , но, как и любой интернет-сервис подвержен СПАМ-атакам.

Если вы хотите продолжать получать чистые сведения из Google Analytics, для оценки своего бизнеса, важно остановить этот нежелательные «посещения», как только вы заметили их.  Я покажу вам, как остановить спам в Google Analytics путем создания ТОЛЬКО 2 фильтров.

Что такое Reffer-спам?

Это ссылающейся спам, изначально отображающий, фальшивые направления (например, 4webmasters.org ), но также может проявляться как поисковый запрос  (например,  непереводимая.рф ),  страница или даже как прямой визит.

Кому это нужно?

Наиболее очевидная причина —  трафик. Люди любопытны от природы, и они хотят знать, что происходит на их веб-сайтах, поэтому они идут на URL перенаправления, чтобы проверить входящий трафик. Спамеры атакуют тысячи аккаунтов Google Analytics, так что вы можете себе представить, объем трафика который они получают с помощью этого метода. Иногда для продвижения страницы, и иногда они перенаправляют вас в интернет-магазин, где получают прибыль от продаж.

Виды спама

Спамеры используют в основном 2 способа:  Ghost-спам или Crawler-Referrer спам.

Ghost спам(пр. darodar.com | непереводимая.рф | hulfingtonpost.com)

Призрачные направления на аналитике Google подавляющее большинство, и они называются Духами, потому что они никогда не заходит на ваш сайт, так что нет никакого взаимодействия с любой из ваших страниц .  Это иллюзия видна только в отчетах вашего Google Analytics. 

Чтобы сделать это, они используют  протокол измерения , который  позволяет разработчикам передавать данные непосредственно в Google Analytics сервера . 

Единственное, что им нужно, GA ID-отслеживания.

Как они получают идентификаторы? Скорее всего, генерируют случайные коды  в виде UA-XXXXXX-1 и затем с помощью автоматизированного сценария они посылают поддельные данные в отчёты.

Единственный способ остановить спам призрак в Google Analytics — настроить фильтры. Распространенная ошибка — попытке блокировать их с помощью .htaccess.

.htaccess — файл конфигурации, который может контролировать, доступ к Вашему сайту, но, как мы теперь знаем, этот вид спама никогда не достигает вашего сайта.

Люди ошибаются когда думают, что они успешно избавились от призраков, и рефералов в .htacces  файле, так как этот вид спама, как правило, проявляется только в течение нескольких дней, а затем исчезают, так что это просто совпадение.

Crawler-спам также просматривает сайты, но с другой целью — получать трафик на свой ​​сайт. Это, как правило, игнорирует все правила, в файле robots.txt , который, как предполагается, должен останавливать пауков, «ползающих» по определенным страницам.

Как обнаружить Referrer-спам?

Простейший способ заключается в поиске необычных и подозрительных рефералов, они как правило не имеют реальной ссылки на Ваш сайт. Но чтобы обнаружить наверняка, используйте данные в отчетах своего аналитикса.

Проверка реферальных имен хостов:

1. Переходите на вкладку «Отчеты», выбрав заранее период не менее 1-го месяца.

2. В боковой панели выбираете «Источники трафика»

3. Разверните «Весь трафик», выберите «Каналы»

4. На вкладке «Дополнительный параметр» — «Имя хоста»

Как видите система не может определить реферальную ссылку, т.к. ее нет)

Как остановить спам в Google Analytics всего 1 фильтром?

Ghost-cпам может быть остановлен только фильтрами Google Analytics.  Crawler-reffer спам при помощи файла .htaccess или фильтров.

Фильтр валидации Хост-имен:

Это, безусловно, самый эффективный способ, чтобы остановить спам в Google Analytics, я использую его в течение 3 месяцев на своем сайте и за это время я не получил ни одного удара от Ghost-спама, так как я применил его . Есть 3 огромных преимущества этого метода над другими.

1. Вы останавливаете спам, прежде чем он ударяет вас.
2. Вам понадобится только один фильтр, чтобы остановить Ghost-спам , вместо создания различных наборов фильтров, один фильтр будет делать свою работу.

Как это работает фильтр?  Все призрак спам использует корректное имя хоста, поскольку спамер не знает, кто цель, если вы проверите спам вы увидите либо поддельные имя хоста или «Not set».

Наиболее важной частью этого решения, получить список всех имен ДЕЙСТВИТЕЛЬНЫХ хостов, не исключая законный трафик.

Чтобы создать этот фильтр сначала нужно получить список ваших хостов:

1. Перейдите к  Отчетам  на вкладке GA, выберите Аудитория, на боковой вкладке

2. Разверните вкладку Технологии, и выберите Сеть

3. В верхней части отчета убедитесь, что вы выберите  Имя хоста  , т.к. по умолчанию там выбран Интернет-провайдер.

4.После того, как  увидите таблицу, на подобие этой. Выделите и скопируйте все допустимые имена хостов.

В основном ваши имена хостов будет включать в себя все те места, где вы вставили код отслеживания (UA-ХХХХХХ-1) Google Analytics (пр. www.yourdomain.com,yourdomain.com,blog.yourdomain.com)

Если у вас интернет-магазин, это могут быть еще и страницы корзин заказов yourshopingcart.com . Если ваш сайт имеет посетителей из многих стран, и они используют перевод на ваших страницах, то те будут отображаться как translateservice.com.

По сути, любой другой хост, — ложный, даже google.com или amazon.com (спамеры используют эти имена, чтобы вводить людей в заблуждение). Сюда-же можно отнести параметр «Not set».

После сбора действительных имен хостов, создаем выражения, содержащие все допустимые варианты

yourdomain.com | otherdomain.com | translateservice.com | yourshoppingcart.com | otherservice.net

Выражение может быть более простым и более сложным в зависимости от возраста и размера сайта. Если у вас есть поддомены не нужно их всех добавлять, если вы добавите yourdomain.com он будет соответствовать любому субдомену, к  примеру как blog.yourdomain.com или help.yourdomain.com.

5. Перейти к закладке Администратор и выберите способ отображения(по умолчанию «Все данные по веб сайту»), где вы хотите применить фильтр.

6. Выберите Фильтры, далее Новый фильтр

7. Название фильтра — используйте имя хоста

8. Тип фильтра — Пользовательский

9 Выбираем Включить

10. Выбираем Имя хоста из выпадающего списка

11. Добавляем значения в поле Шаблон фильтра

12. Не забудьте о Применение фильтра в представлениях, после чего сохраняем фильтр.

Этот фильтр не требует частого обслуживания, но ОЧЕНЬ ВАЖНО , чтобы каждый раз, когда вы добавляете имя хоста, или включить ваш код отслеживая-ID в любой службе, например PayPal или YouTube, вы включаете его в конец  регулярного выражения.

Фильтр будет избавлять Вас от будущих атак призрачного спама.

Использование файла .htaccess (ТОЛЬКО Crawler спам)

Этот файл решает блокировать или разрешать входящие соединения. Не пытайтесь использовать для блокировки Призрачного спама, это принесет эффекта, поскольку мы не сможем узнать как этот вид рефферала заходит на сайт.

Помните всегда, чтобы сделать резервную копию , прежде чем что-то менять, и будьте осторожны, когда вы измените его, потому что даже один неправильный ход может оставить ваш сайт недоступным.

Если вы умеете работать с .htaccess, вы можете использовать приведенный ниже метод:

<IfModule mod_setenvif.c>
# Set Referrer Spam as spambot
SetEnvIfNoCase Referer semalt.com spambot=yes
SetEnvIfNoCase Referer buttons-for-website.com spambot=yes
## add all the SPAM sites you want

Order allow,deny
Allow from all
Deny from env=spambot
</IfModule>

Исключаем хороших поисковых Ботов и Пауков

Это хорошие сканеры , продолжая работать в Интернете и помогают нам получить лучшие результаты для наших поисков. Но они также добавляют записи при посещении вашего сайта, записи, которые не являются полезными.

Вы не должны блокировать этих ботов / пауков, потому что это может сделать вас менее заметными для сети, но вы можете исключить из ваших отчетов Analytics.

1. Вкладка Администратор — Представление — Настройка представления

2. Далее Фильтрация ставим галочку Исключение обращений роботов и «пауков»

При выборе этой опции будет исключены все заходы, которые приходят от ботов и пауков на AB (из базы знаний).  Это позволит вам определить реальное количество посетителей, которые приходят на ваш сайт.

Гугл Аналитика

Выводы:

Referrer-спам влияет на многих из нас в большей или меньшей степени, и это не следует воспринимать легкомысленно.

Это должно быть ясно, что в настоящее время вы не можете заблокировать Ghost спам (подавляющее большинство) правилами .htaccess.

Чтобы получить чистые отчеты от вашего исторических данных можно создать сегмент описанный в данном руководстве   Удалить Referrer спама на основе исторических данных с сегментами

Я надеюсь, что это поможет вам лучше понять, как Referrer спам влияет на вашу аналитику, более чистых и полезных статистических данных.

Материалы:

• http://viget.com/advance/removing-referral-spam-from-google-analytics
• http://www.cucumber.co.nz/blog/2015/january/14/ghost-referrals/

Скриншоты сняты с Гугл-аналитикса реальной компании advays-servis.com.ua.