Анализ логов (log файлов) сервера для точной статистики продвигаемого ресурса
Эта статья по-своему уникальна и призвана дать оригинальный совет не только по анализу логов, но и по выявлению новых мест популяризации наших ресурсов. Т.е. овладев описанной ниже нехитрой методикой, Вы сможете видеть, например, сколько реально происходит закачек продвигаемого ресурса на нашем сайте (файла мультимедиа или еще чего-нибудь такого), количество закачек будет учитывать и закачки по внешним ссылкам. К слову, Google Analytics на такое не способен — он учитывает http трафик, может сказать, сколько человек посетили страницу загрузки, а это в разы будет отличаться от реального количества загрузок. Да к тому же, все это БЕСПЛАТНО, поскольку программа ReplaceRex, делающая анализ логов сервера бесплатна. А при желании всю нехитрую методику можно поставить на полный автомат, как это сделал я, о чем немного тоже расскажу.
Итак, как это происходит на моем компьютере. Каждый день ко мне на почту приходят лог файлы с детальной статистикой, кто, откуда и на какие страницы заходил на мой сайт за последние сутки. Я открываю это письмо, нажимаю горячую клавишу Ctrl+1 и дальше «смотрю кино» (все на автомате): файл загружается с почтового сервера, распаковывается по указанному пути, далее запускается ReplaceRex, обрабатывает файл и выводит на экран результаты:
Статистика с детализацией по сайтам — источникам закачек покажет сайты, с которых больше всего идет закачек за последний месяц, год или все время. Например, увидев скриншот ниже, я с удивлением обнаружил, что наиболее интенсивно моя программа скачивается с сайта soft.oszone.net/download/1559/AutoClickExtreme.html
Кроме того можно увидеть в новодобовляемых строчках новые внешние сайты, на которых поднимается обсуждение программы.
Теперь более детально о реализации алгоритма. В ReplaceRex настраивается так называемый файл шагов, для пошаговых поисков, замен и сортировок. По сути это программа-заменялка текста, только более визуализированная чем ее аналоги. Первым шагом во всем лог файле оставляются только строки, содержащие закачки интересующей меня программы, а именно ACE_Setup.exe, вторым шагом отсеиваются повторные закачивания по одинаковым ip, так как возможно кто-то в несколько потоков качал файл или прерывался при закачивании. А дальше уже ищется нужная информация: сколько закачек русскоязычной версии, англоязычной, и с каких именно сайтов. Далее для этого файла шагов можно сделать отдельный ярлык, чтобы по одному запуску ярлыка запускать отработку новопришедшего лог-файла. Вот собственно и все премудрости, ну разве что не упомянул, как с почтового сервера автоматически закачиваю лог-файл и распаковываю по нужному пути. Тут еще проще: использую собственную автоматизирующую программу AutoClickExtreme, которая с помощью так называемого Пиксельного Контроля скачивает и сохраняет файл, запускает его распаковку.
В дополнение выкладываю сам файл шагов:
www.autoclickextreme.com/ru/articles/downloads/stat_setup_ace.stps — его обязательно надо настроить «под себя», изменить путь и имя исходного лог файла, проверить работоспособность, возможно есть отличия в формате логов для разных хостеров.
Ну и на десерт видео, как это реально все происходит… Действие происходит быстро и минимум объяснений — только по делу — 37 секунд
Скоро планирую в ReplaceRex сделать дополнительно следующее:
— Планируется в будущем дать возможность пользователям редактировать шаблон статистики, чтобы сохранять результирующие цифры в том виде, как это удобно пользователю.
— Добавлять цифры статистики в файл Excel, чтобы в нем строились графики закачек на каждый день, месяц, год.
— Контроль уже отработанных файлов, чтобы они случайно не продублировались при суммировании и участвовали дважды при анализе логов.
Единственный момент, который меня тревожит: а нужно ли это будет пользователю или такой анализ логов будет полезен только мне самому. С этой целью и публикую данную статью эксклюзивно для habrahabr.ru. Заранее спасибо всем отреагировавшим.
Итак, как это происходит на моем компьютере. Каждый день ко мне на почту приходят лог файлы с детальной статистикой, кто, откуда и на какие страницы заходил на мой сайт за последние сутки. Я открываю это письмо, нажимаю горячую клавишу Ctrl+1 и дальше «смотрю кино» (все на автомате): файл загружается с почтового сервера, распаковывается по указанному пути, далее запускается ReplaceRex, обрабатывает файл и выводит на экран результаты:
Статистика с детализацией по сайтам — источникам закачек покажет сайты, с которых больше всего идет закачек за последний месяц, год или все время. Например, увидев скриншот ниже, я с удивлением обнаружил, что наиболее интенсивно моя программа скачивается с сайта soft.oszone.net/download/1559/AutoClickExtreme.html
Кроме того можно увидеть в новодобовляемых строчках новые внешние сайты, на которых поднимается обсуждение программы.
Теперь более детально о реализации алгоритма. В ReplaceRex настраивается так называемый файл шагов, для пошаговых поисков, замен и сортировок. По сути это программа-заменялка текста, только более визуализированная чем ее аналоги. Первым шагом во всем лог файле оставляются только строки, содержащие закачки интересующей меня программы, а именно ACE_Setup.exe, вторым шагом отсеиваются повторные закачивания по одинаковым ip, так как возможно кто-то в несколько потоков качал файл или прерывался при закачивании. А дальше уже ищется нужная информация: сколько закачек русскоязычной версии, англоязычной, и с каких именно сайтов. Далее для этого файла шагов можно сделать отдельный ярлык, чтобы по одному запуску ярлыка запускать отработку новопришедшего лог-файла. Вот собственно и все премудрости, ну разве что не упомянул, как с почтового сервера автоматически закачиваю лог-файл и распаковываю по нужному пути. Тут еще проще: использую собственную автоматизирующую программу AutoClickExtreme, которая с помощью так называемого Пиксельного Контроля скачивает и сохраняет файл, запускает его распаковку.
В дополнение выкладываю сам файл шагов:
www.autoclickextreme.com/ru/articles/downloads/stat_setup_ace.stps — его обязательно надо настроить «под себя», изменить путь и имя исходного лог файла, проверить работоспособность, возможно есть отличия в формате логов для разных хостеров.
Ну и на десерт видео, как это реально все происходит… Действие происходит быстро и минимум объяснений — только по делу — 37 секунд
Скоро планирую в ReplaceRex сделать дополнительно следующее:
— Планируется в будущем дать возможность пользователям редактировать шаблон статистики, чтобы сохранять результирующие цифры в том виде, как это удобно пользователю.
— Добавлять цифры статистики в файл Excel, чтобы в нем строились графики закачек на каждый день, месяц, год.
— Контроль уже отработанных файлов, чтобы они случайно не продублировались при суммировании и участвовали дважды при анализе логов.
Единственный момент, который меня тревожит: а нужно ли это будет пользователю или такой анализ логов будет полезен только мне самому. С этой целью и публикую данную статью эксклюзивно для habrahabr.ru. Заранее спасибо всем отреагировавшим.
0 комментариев