[php script] A-BOT DETECT - тема закрывается, записывайтесь в новую

Об авторе:

Лучший способ познакомится с автором — это участвовать в его авторской складчине и желательно не дорогой Ребята — такая есть (здесь есть и шаблоны Zennoposter и другие различные бонусы). Также рассказан мой путь от вебмастера до ботовода и от ботовода до разработчика на PHP. При чём — указанное выше — это не основная работа (а вечерняя)


Представляю Вам свой продукт A-BOT DETECT. Для чего он нужен?



Его основные задачи:

1. Независимая веб-аналитика с неограниченного числа доменов
   
   
2. Распределение трафика по большому числу параметров и условий
   
   
3. Статистка переходов по редиректам
   
   
4. Статистика показов баннеров
   
   
5. Определение бот-трафика.

Конкурентные преимущества.

Сейчас на рынке существует много различных аналитических систем и систем распределения трафика. Есть бесплатные и есть платные. Есть удобные и менее удобные. Есть гибкие и менее гибкие. Но самое главное — данные системы должны решать поставленные перед ними задачи. И мои задачи и задачи моих клиентов — не решались «уже готовыми системами». Стояла острая задача (которая стоит у многих и в настоящий момент) определения бот-трафика в рекламных кампаниях (контекстная реклама ,баннерные и тизерные сети). Для тех, кто не в курсе — баланс «слитый» за бот-трафик при предъявлении доказательств - востанавливается.


Данный продукт - является полностью авторским продуктом и объединением двух моих двухгодичных скриптов (1. простая веб-аналитика+данные по IP DNS и 2. Скрипт для отладки шаблонов Zennoposter).

На основе этого — был полностью переписан код на базе Laravel 5 (PHP 7) + MongoDB (NoSQL). Продукт делаю/дорабатываю для себя.


И в настоящем ведётся учёт , анализ и распределения трафика по следующим параметрам:
1. Параметр IP (PHP)
2. Параметр IP (JS)
3. Параметр IPW1
4. Параметры IPW2
5. Параметры IPW3
6. Параметр Страна (IP)
7. Параметр Код страны (IP)
8. Параметр Город (IP)
9. Параметр Регион (IP)
10. Параметр ISP (IP)
11. Параметр широта и долгота (IP)
12. Параметр тип соединения (IP)
13. Параметр часовой пояс (IP)
14. Параметр IP DNS
15. Параметр Страна (IP DNS)
16. Параметр Код страны (IP DNS)
17. Параметр Город (IP DNS)
18. Параметр Регион (IP DNS)
19. Параметр ISP (IP DNS)
20. Параметр тип соединения (IP DNS)
21. Параметр часовой пояс (IP DNS)
22. Параметр USERAGENT (PHP)
23. Параметр тип юзерагента (PHP)
24. Параметр имя юзерагента (PHP)
25. Параметр версия юзерагента (PHP)
26. Параметр движок юзерагента (PHP)
27. Параметр имя операционной системы (PHP)
28. Параметр версия операционной системы (PHP)
29. Параметр разрядность операционной системы (PHP)
30. Параметр устройство (PHP)
31. Параметр модель устройства (PHP)
32. Параметр бренд устройства (PHP)
33. Параметры для USERAGENT (JS)
34. Параметр тип юзерагента (JS)
35. Параметр имя юзерагента (JS)
36. Параметр версия юзерагента (JS)
37. Параметр движок юзерагента (JS)
38. Параметр имя операционной системы (JS)
39. Параметр версия операционной системы (JS)
40. Параметр разрядность операционной системы (JS)
41. Параметр устройство (JS)
42. Параметр модель устройства (JS)
43. Параметр бренд устройства (JS)
44. Параметр REFERRAL
45. Параметр GET (Отслеживание кампаний и других параметров)
46. Параметры расширения экрана
47. Параметры системного времени
48. Параметр число плагинов
49. Параметр список плагинов
50. Параметр версия FLASH
51. Параметр число визитов
52. Параметр язык браузера
53. Параметр Cookies
54. Параметр Fingerprint2
55. Параметр временная зона (JS)
56. Параметр проверки CHECK1
57. Параметр проверки CHECK2
58. Параметр проверки CHECK3
59. Параметр проверки CHECK4
60. Параметр проверки CHECK5
61. Параметр проверки CHECK6
62. Параметр проверки CHECK7

Для кого инструмент

Для тех кто работает с трафиком : вебмастера, маркетологи, арбитражники, специалисты по контекстной и медийной рекламы и т.п.

Будет ли инструкция.

Да будет — подробнейшая инструкция. От установки до практического применения.

Нужны ли особые знания.

Нужно понимать сниппеты (элементы готового логического кода), указанные в инструкции — в случае создания сложных условий распределения и анализа трафика. По сути — здесь нечего сложного нет.

Подойдет ли новичкам.

Я не могу отвечать за всех новичков. Я сторонник парадигмы - «Богатые -становятся ещё богаче, опытные -ещё опытнее ну и наоборот =)» . В любом случае — у Вас на руках будет практический инструмент — который поможет определять «выгодные и убыточные» источники трафика. В любом случае — перед участие читаем полностью инструкцию (она будет доступна во втором посте)— и принимаем решение.Я в отличие от многих коллег - не предлагаю "кота в мешке"

Будут ли кейсы

Как таковых кейсов не будет. Продается инструмент для работы.

В инструкции я распишу особенности работы с различными источниками трафика на базе системы A-BOT DETECT


Есть ли защита

Конечно. Базы на стороне разработчика + защита кода. Каждый скрипт будет особенным и со своей лицензией.

Есть ли ограничение в пользовании скриптом.

Ограничений во времени -нет. А так лицензия на один домен.

Есть нюансы связанные с работой хостинговых компаний — к которым надо быть готовыми. Т.е. если Ваш скрипт не доступен — то следует отключить рекламные кампании. Такое бывает редко — но я обязан Вас об этом предупредить.

Будут ли скриншоты и т. п.

Да будут в сообщении ниже и в инструкции. Сейчас дорабатываю элементы интерфейса и защиты. И это не имеет смысл пока выкладывать (особенно в первый пост, т. к. он не редактируется). Но зато во второй выложу=) Вообщем обращаем внимание на второй пост.


Будут ли бонусы за рекламу

Сделаем на Ваше усмотрение - делаете подпись или рекламу в тематических темах и отписываетесь в данной теме. Будет что-то интересное=)


Когда ориентировочно старт:

Март-апрель

 

резерв (в состоянии постоянного редактирования)

Скрипт решил переделать и выставить на продажу по просьбе участников. Ну и в противовес другой складчине

Спойлер: Концепция системы A-BOT DETECT

предистория:
Года 2 назад = решил вернуться в сайтостроение. Для этого подтянул свой уровень PHP. И как следствие возник вопрос в независимой аналитике . Стояла также задача прокачать свой уровень в контекстной рекламе для ряда знакомый в ecommerce секторе.

Первоначально стояла задача в отлове бот-трафика на сравнении данных IP и IP DNS. Я отлично понимал, что бот-трафик = либо под прокси либо под VPN. Как некоторые из Вас знают = это надежный способ -выявить источник "бот-трафика" - первоначально стояла задача фиксации кампаний по utm меткам.

После были добавлены различные базы данных и параметров определяемых c помощью javascript. И выработана общая концепция = как взаимодействую сайты-лендинги с сайтом-база.

В чем концепция:
Есть сайт-лендинг(много сайтов) , есть код (PHP+Javascript) -который собирает данные о пользователе и передает их сайту-базе. Тут нужно понимать на элементарном уровне код (об этом будет в инструкции)

Далее по полученным параметрам - мы можем сделать много чего.. В частности создать условие (на основе полученных параметров) на основе которого произойдёт
1) Отображение нужного текстового блока/баннера
2) Редирект

Далее в систему кодов системы заложены сниппеты
1) Учёт переходов по редиректам
2) Учёт показов блока/баннера

Т.е. на основе (нижеуказанных параметров) - мы можем строить свои лендинги с динамическим контентом и с редиректами. Да тут как минимум надо разбираться в верстке.

Но это того стоит - с учётом гибкости встраивания данных условий в любой сайт (как на php так и на html)

Сравнивать данную систему с Кейтаро или другими tds|аналитическими системами имеет смысл только в тех функциях = для которых разрабатывалась система A-BOT DETECT- а именно:
1. Учёт трафика по большому кол-ву параметров (которых нет у большинства). Анализ кампаний с наибольшим бот-трафиком.
2. Гибкой системы распределения трафика. Внедрение на уровне кода.

Теперь о параметрах

1. Параметр IP (PHP) - IP через PHP код
2. Параметр IP (JS) - IP через JS код

3. Параметр IPW1 - утечка локального IP через WebRTC
Нет локального IP или локальный IP разный для одинаковых IP пользователей = БОТ ТРАФИК

4. Параметры IPW2 -утечка IPv6 через WebRTC - существует IPv6 БОТ ТРАФИК

5. Параметры IPW3 - утечка IPv4 через WebRTC. IPv4 не равен IP БОТ ТРАФИК

6. Параметр Страна (IP) - Страна пользователя
7. Параметр Код страны (IP) - Таблица кодов будет. Иногда проще.
8. Параметр Город (IP) - Город
9. Параметр Регион (IP) - Регион
10. Параметр ISP (IP) - Интернет провайдер . Часто используется в распределении ботов. Пример сниппета

PHP:

<?php
if ($check["isp"]=="Yandex LLC")
{
echo "выводим страницу, которую надо проиндексировать Yandex";
}
elseif ($check["isp"]=="Google LLC")
{

echo "выводим страницу, которую надо проиндексировать Google";
}

elseif ($check["isp"]=="Yahoo! Inc.")
{

echo "выводим страницу, которую надо проиндексировать Yahoo";
}
else

{
echo "выводим страницу для обычного пользователя";
}

?>

11. Параметр широта и долгота (IP). Если требуется распределять трафик по диапазонам.

12. Параметр тип соединения (IP). Если тип соединения у пользователя не соответствует -БОТ ТРАФИК


13. Параметр часовой пояс (IP).

14. Параметр IP DNS . Для получения данного параметра - необходима настройка на уровне BIND . Это будет в итоговом материале.

15. Параметр Страна (IP DNS)
16. Параметр Код страны (IP DNS)
17. Параметр Город (IP DNS)
18. Параметр Регион (IP DNS)
19. Параметр ISP (IP DNS)
20. Параметр тип соединения (IP DNS)
21. Параметр часовой пояс (IP DNS)

22. Параметр USERAGENT (PHP) - тут понятно юзерагент полученный PHP кодом

23. Параметр тип юзерагента (PHP)

Определяемы типы юзерагентов
1. Браузер
2. Бот
3. Feed reader
4. Библиотек
5. Мобильное приложение
6. Персональный информационный менеджер - ПИМ
7. Медиаплееры

24. Параметр имя юзерагента (PHP) - будет таблица с именами распространеных ботов и браузеров

25. Параметр версия юзерагента (PHP)

26. Параметр движок юзерагента (PHP)

27. Параметр имя операционной системы (PHP) - будет таблица с ОС

28. Параметр версия операционной системы (PHP)

29. Параметр разрядность операционной системы (PHP)

30. Параметр устройство (PHP)
Список определяемых устройств
1 Компьютер
2 Смартфон
3 Планшет
4 Мобильный телефон
5 Консоль
6 Телевизор
7 Автомобильный браузер
8 Смарт-дисплей
9 Камера
10 Портативный медиа-плеер
11 Фаблет



31. Параметр модель устройства (PHP) - возможность распределения трафика по модели устройства (телефона или планшета)


32. Параметр бренд устройства (PHP) - возможность распределения трафика по бренду устройства.

33. Параметры для USERAGENT (JS) - Юзерагент полученный javascript кодом. Если
USERAGENT (JS) не равен USERAGENT (PHP) БОТ ТРАФИК
34. Параметр тип юзерагента (JS)
35. Параметр имя юзерагента (JS)
36. Параметр версия юзерагента (JS)
37. Параметр движок юзерагента (JS)
38. Параметр имя операционной системы (JS)
39. Параметр версия операционной системы (JS)
40. Параметр разрядность операционной системы (JS)
41. Параметр устройство (JS)
42. Параметр модель устройства (JS)
43. Параметр бренд устройства (JS)

44. Параметр REFERRAL Учёт адреса сайта (полного) с которого пришёл трафик. Учёт прямых заходов и через сайты
45. Параметр GET (Отслеживание кампаний и других параметров)
Отслеживаем стандартные метки кампаний и любые GET передаваемые параметры

46. Параметры расширения экрана - Расширение экрана сгенерированно и не соответствует устройству - БОТ ТРАФИК

47. Параметры системного времени

48. Параметр число плагинов - Нет плагинов. БОТ ТРАФИК

49. Параметр список плагинов - Плагины генерируются для одного IP - БОТ ТРАФИК
50. Параметр версия FLASH - Flash отсутстует - скорее всего БОТ ТРАФИК
51. Параметр число визитов - много визитов с одного IP и с разных устройств в определенный промежуток времени - БОТ ТРАФИК
52. Параметр язык браузера - используется в доп. проверках
53. Параметр Cookies - Куки выключены - БОТ ТРАФИК
54. Параметр Fingerprint2 - Сгенерированный Fingerprint2 - БОТ ТРАФИК

55. Параметр временная зона (JS) Не совпадает временная зона - локально и системно БОТ ТРАФИК

56. Параметр проверки CHECK1 = 0 . если не совпадает страна IP и страна IP DNS (элитной прокси или VPN). БОТ ТРАФИК
57. Параметр проверки CHECK2 = 0. если не совпадает город IP и город IP DNS (элитной прокси или VPN). БОТ ТРАФИК
58. Параметр проверки CHECK3= 0. если не совпадает ISP IP и ISP IP DNS (элитной прокси или VPN). БОТ ТРАФИК
59. Параметр проверки CHECK4= 0. если не совпадает локальная и системная временная зона. БОТ ТРАФИК
60. Параметр проверки CHECK5 = 0, юзерагенты PHP и JS не равны - БОТ ТРАФИК
61. Параметр проверки CHECK6 = 0, если язык в браузере не соответствует стране пользователя БОТ ТРАФИК
62. Параметр проверки CHECK7=0 . Выявлен публичный прокси. БОТ ТРАФИК



НА ОСНОВЕ ПОЛУЧЕННЫХ ВЫШЕ ПАРАМЕТРОВ МЫ ФОРМИРУЕМ УСЛОВИЯ, на основе которых определяем что делать если условие ИСТИНО - редирект, или отображение рекламного баннера.

Пример сниппета

PHP:

<?php

  echo "Сейчас вы будете направлены на страницу для загрузки необходимой программы";
 
 
  if ($check['name_os'] == 'Windows')   {  echo "<script language='JavaScript'>window.location.href = 'http://www.soft.ru/windows_download.php'</script>"; }
 
  if ($check['name_os'] == 'Android')   {  echo "<script language='JavaScript'>window.location.href = 'http://www.soft.ru/android_download.php'</script>"; }
 
  if ($check['name_os'] == 'iOS')   {  echo "<script language='JavaScript'>window.location.href = 'http://www.soft.ru/ios_download.php'</script>"; }
 
  if ($check['name_os'] == 'Windows Phone')   {  echo "<script language='JavaScript'>window.location.href = 'http://www.soft.ru/wphone_download.php'</script>"; }
 

?>

Спойлер: Примерный план инструкции к программе

Документация к программе “A-BOT DETECT”.

1. 
   
   
   • О программе “A-BOT DETECT”
   • Конкурентные преимущества
   • Принцип работы
   • Интерфейс программы
   • Система проверки трафика
   • Настройка системы
     1. Установка программы A-BOT DETECT
        
        
     2. Настройка домена для сбора информации
   • Работа с редиректами и баннерами
     1. Назначения редиректов
        
        
     2. Виды редиректов, баннеров.
        
        
     3. Условия возникновения событий (Полная карта событий)
        1. Параметр IP (PHP)
           
           
        2. Параметр IP (JS)
           
           
        3. Параметры IPW1, IPW2, IPW3
           
           
        4. Параметр Страна (IP)
           
           
        5. Параметр Код страны (IP)
           
           
        6. Параметры Город , Регион, ISP (IP)
           
           
        7. Параметр широта и долгота (IP)
           
           
        8. Параметр тип соединения (IP)
           
           
        9. Параметр часовой пояс (IP)
           
           
        10. Параметры для IP DNS
            
            
        11. Параметр USERAGENT (PHP)
            
            
        12. Параметр тип юзерагента (PHP)
            
            
        13. Параметр имя юзерагента (PHP)
            
            
        14. Параметр версия юзерагента (PHP)
            
            
        15. Параметр движок юзерагента (PHP)
            
            
        16. Параметр имя операционной системы (PHP)
            
            
        17. Параметр версия операционной системы (PHP)
            
            
        18. Параметр разрядность операционной системы (PHP)
            
            
        19. Параметр устройство (PHP)
            
            
        20. Параметр модель устройства (PHP)
            
            
        21. Параметр бренд устройства (PHP)
            
            
        22. Параметры для USERAGENT (JS)
            
            
        23. Параметр REFERRAL
            
            
        24. Параметр GET (Отслеживание кампаний и других параметров)
            
            
        25. Параметры расширения экрана
            
            
        26. Параметры системного времени
            
            
        27. Параметр число плагинов
            
            
        28. Параметр список плагинов
            
            
        29. Параметр версия FLASH
            
            
        30. Параметры системного времени
            
            
        31. Параметр число визитов
            
            
        32. Параметр язык браузера
            
            
        33. Параметр КУКИ
            
            
        34. Параметр временная зона (JS)
            
            
        35. Параметр проверки CHECK1
            
            
        36. Параметр проверки CHECK2
            
            
        37. Параметр проверки CHECK3
            
            
        38. Параметр проверки CHECK4
            
            
        39. Параметр проверки CHECK5
            
            
        40. Параметр проверки CHECK6
            
            
        41. Параметр проверки CHECK7

1. 
   
   
   • Частичная карта событий.
     1. Особенности работы с частичной картой событий. Работа с ботами без Javascript

Спойлер: Демо-обзор A-BOT DETECT

 

@analytic

 

Если правильно понял то это TDS и аналитика в одном флаконе?

Тут не совсем понял:
к примеру я поставил на один домен(согласно условиям лицензии) - этот скрипт сможет в итоге отслеживать/распределять данные/трафик только для домена на котором он установлен? ... или его можно подключать для разных доменов ( т.е типа сервиса в котором можно отслеживать и распределять траф для разных доменов)?

 

Еще бы блеклисты ip различных сеток и цена бы зашла вообще на ура !

 

Проверяющие нужны? Готов, новичек в трафе, работал немного с кейтаро.
Интересно сравнить.

 

Интересно, ждем скринов)))

 

да всё верно

Есть сайт-база, и есть сайты лендинги
Вторые передают и получают по API данные с сайта-базы. На неё и лицензия. В отличие от известных систем - тут можно вставить код в любой лендинг или сайт

 

1. Это значит, что кроме обфускации кода - сайт-базы берет данные по лицензии с сайта разработчика. Здесь задействованы IP базы, базы юзерагентов и базы ботов. Это сделано с целью дополнительной защиты от взлома и для минимизации требований к пункту 2

2. Любой VPS сервер от 512 Мб. Используется NoSql база MongoBD - позволяющая быстро обрабатывать большие аналитические данные. К примеру данные прошлой рекламной кампании, которая была месяц назад.

 

мне ответишь? ))))

 

Я давно обратил внимание, что арбитраж на складчике и арбитраж в реальности - это часто разные понятия. К примеру, чтобы не быть голословным - многим рекомендую на сайте hh.ru и посмотреть реэюме соискателей по слову "арбитраж трафика". Чтобы понимать - какие навыки нужны для работодателей

Что касается сеток, то тут всё есть (это можно было понять из описания, так как арбитраж - без аналитики - это пальцем в небо)

Вот к примеру сниппеты , которые будут в частности в инструкции
Определения бот-трафика -фиксируется к кампаниям в админке. В отличии от других систем, когда бот-трафик определяется НЕ ТОЛЬКО через
1. тип Юзерагента

PHP:

<?php

  if ($check['type_ua'] == 'browser') {  echo "Браузер"; }
 
  if ($check['type_ua'] == 'bot') {  echo "Бот"; }
 
  if ($check['type_ua'] == 'feed reader') {  echo "Feed reader"; }
 
  if ($check['type_ua'] == 'library') {  echo "Библиотека"; }
 
  if ($check['type_ua'] == 'mobile app') {  echo "Мобильное приложение"; }
 
  if ($check['type_ua'] == 'pim') {  echo "Персональный информационный менеджер"; }
 
  if ($check['type_ua'] == 'mediaplayer') {  echo "Медиаплеер"; }
 
  if ($check['type_ua'] == 'unknown') {  echo "Тип юзерагента - не определён"; }



?>

2. Тип соединения

Код:

<?php
if (($check["usageType"]=="ISP")||($check["usageType"]=="MOB"))
{
echo "Привет, целевой пользоатель";
}
if ($check["usageType"]=="DCH")
{

echo "Ну что,товариш, прокси или VPN?";
}

?>

Проверка идёт по многим другим параметрам (распишу через часик-другой). И этих параметров товарищи - нет у других систем.

 

Зер гуд ! Давай баттл с Кейтаро)

 

Ответил во 2 посте.

 

Жесть какая то... сколько текста... !)
Но я в теме !)

Кейтаро продлевать не стану!)

 

По ходу этой темы будет доказан выбор ника )))

 

Можно ли перевести продукт на какой-то сервис по подписке, или на свои базы, в случае оффлайна твойх серверов продукт тоже потеряет работоспособность?
Подожду скринов, хотелось бы увидеть в первую очередь френдли конструктор сниппетов, чтобы не руками в текстовом документе составлять.

Такой вопрос, под выводом страницы, которую скармливаем, поисковику или боту, является ссылка/редирект, или можно вложить свой код, к примеру HTML? Так, чтобы это отрабатывало, как индексная, без редиректов.

Есть возможность использовать спинтакс в коде?

 

@analytic
твой скрипт можно считать заменой keitaro tds?

 

Это не основной мой скрипт....данный скрипт заточен под анализ бот-трафика.
Есть ещё скрипт vitalquality analytics - он заточен под электронную коммерцию и в 20 больше функционал
п.с. пишу об новом скрипте, т.к. люблю делать ссылки из будущего на такие посты=)