Архив блога VadoZ

Сообщения с тегами ‘XRumer’

Hrefer unhide the SECRETS!

2nd Октябрь, 2011
Комментарии к записи Hrefer unhide the SECRETS! отключены

This article is written for the article competition which is held by the Botmaster team

Here I will describe you how to look for the trust sites for placing doorways with the help of the programs Hrefer and Xrumer.

The search can be done by two methods:

  • go over a great number of the sites and place doorways on them and watch the result;
  • observe competitors.

We will choose the second method in the nature of laziness.

Let’s do analysis of the result. Let’s make Hrefer collect top 10 according to the queries of the interested topic. The first thing you should do is to decide on the topic. Here I will consider the work with pharma as the most interested direction. Copy a file with the keywords to the directory Words Hrefer. I deliberately did not select the keywords by the popularity because I was trying to provide a maximal inclusion of the niche.

Now we launch Hrefer, go to the menu Options->Parsing options and uncheck the following sections:

  • Convert all links to index (we are interested in the complete addresses of pages)
  • Log founded hight-PR freehostings into the FreeBonus.txt (this option slows down the process)
  • Enable filtering duplicated links by hostnames (it is useful to calculate the number of the hostnames, it will help to conduct a quality analysis).

Then we check Do not use «Additive words» and Disable filtering by Template. And now it is time to mark two new options appeared in the version 3.7.

  • we check Save ‘query -> URL’ info to filename_query.txt (this jack will allow us to find a correspondence between a request and link, and this will bring a more delicate work)
  • we put 1 in the field Deep of parsing (pages) (this option points at the number of pages to be parsed).

It is good that we will parse only one page but Hrefer forms queries in the way that search engines give 100 links for one query, and we need only 10 links. What do we do? We will set Hrefer so that it will get only 10 links per each query. To do this it is necessary to make changes in engines.ini, and there is a very good tool in Hrefer. You should go to tuning-> engines.ini and change the preferences Query mask and Total Pages in accordance with the picture.

Now we palm off the keywords on Hrefer as the database of the words (Words Database), and we indicate a file where all links will be saved (I have pharma_top10.txt) and launch parsing. When this process will be done our file will contain all links to the pages of the interested keys from top 10.

Well, it is impossible to go through this great number of the links using only our hands and eyes. We should think – what are the peculiarities of the profile doorways? The most evident sign is the presence of the following lines in the URL:


So let’s filter the received database by means of the usage of these signs. To get best results we can clear the database from hacked sites adding the .edu and other risky zones to the blacklist. Then we create a text file black.txt in which we will indicate zones causing distrust. We launch Xrumer, go to the tool Filter of the link database, indicate the path to our database and we indicate the file black.txt as the database of the filter, and we write the signs of the profiles in the words-filter. In short, we do as it is shown on the picture)))))

In about several minutes of the parsing I have managed to get this little list:

In general, there is something to do in the evening ))))))).

So we have received a small list of the profile doorways from top 10 of Google. Let’s see several doorways in the browser.

  • There is a point to fill the file black.txt with different white shops, blogs and others in addition to those hacked sites. What will it bring? We can use filter black.txt and view the received result on the cross to catch profiles which do not get into our templates of URL (/user/|/users/|/profile/|/people/|/member/|/members/|profile.php|member.php)
  • There is a point to create a script which will calculate the number of each hostname in our database. The more mentions will be, the more often this host will be in the top. And more often it is in the top, the more interesting to see it. And again – we catch profiles which do not get into our mask of URL. That is why I have recommended to forbid Hrefer to filter the duplicated links. The easiest example of such script on PHP:
    $hosts = file("input.txt");
    for ($i=0;$i< count($hosts);$i++)
      $cu = parse_url(trim($hosts[$i]));
    	$host =  $cu[host];
      if ($zz[$host])
    	$zz[$host] = 1;
    foreach($zz as $k=>$v) echo "$k=>$v <br>";
  • There is a point to analyze queries which lead to the profile top. Remember, during setup of Hrefer we checked Save ‘query -> URL’ info to filename_query.txt? Here it will be useful to us. What does the knowledge about the queries which lead the profile to the top give us? We will be able to estimate the queries with what competitiveness this resource can carry.
  • Normally, it is possible to steal keywords from another’s profile doorways. But you should do it by yourself because I believe that it is bad to steal from colleagues.
  • You can edit engines.ini to collect TOP of a certain region. By the way, concerning regions, if you suddenly have a desire to study a state of the deals on specific languages (for example, Hebrew), it is necessary to be ready to the fact that Hrefer does not get on with UTF-8. However, it can be easily converted from UTF to URI format. An example of the script for conversion of the query into URI format on Pathon is below.
    import codecs
    import urllib
    import sys
        fileObj = codecs.open( "query.txt", "r", "utf-8" )
        u = fileObj.read().split("\n")
        fileObj2 = codecs.open( "query1.txt", "w", "utf-8" )
        for line in u:
            line = urllib.quote(urllib.unquote(line).encode('utf8'),'=&?/')
  • Backlink analysis. At the moment this issue is a complete mess (because of innovations in Yahoo) but the subject is very interesting. The matter is that many pharma-people have their networks of their own guestbook in which they spam only. If it has been possible to find several such guestbook out, we will get to know about the appearance of new trust locations at the stage of spam and not when they will be on the top.
  • Analysis of the profile linking (at the moment they are met rarely). It helps to see other resources on which doorways are made and parse keywords used by competitors.
  • It is possible to filter profiles directly by Hrefer using sieve-filter. On the one hand, it would be easy… On the other hand, I do not use this method because I like to see a complete database of Top on the cross, or even out of the corner of my eye. Sometimes my eye notices very interesting things.
  • It is very interesting to check the selected resources on the server’s response by the tool “Analyzer” of Xrumer. If we get excellent responses from 200 OK, it will mean that the doorway is deleted, probably, by abuse. And it means that an administrator keeps an eye on the resource and it will probably delete our doorways.

What is bad in this scheme?

The bad thing is that using this scheme you are ALWAYS behind your competitors. But this is a very good subject to feel a taste of online money.


It is not obligatory to use the found resources for pharma doorways. You can always find various usage of the trust profile pages. For example, they can be used for less competitive topics such as clothes, or you can use it as a reference donor.

Video tutorial

XRumer ,

Хрефер спалит темы.

7th Сентябрь, 2011
Комментарии к записи Хрефер спалит темы. отключены

Статья написана для третьего конкурса статей , который проводит комманда Botmaster-а.

На форуме техподдержки Хрумера первые срачи из-за конкурса. Оно и понятно — народ несколько разочарован конкурсом – тем никто не палит. Нет, ну в самом деле, нафиг вам темы, если есть инструменты и голова? Как говаривал DreenBood в известной пародии на Юмакс

”Я конечно могу много рассказывать, но много не буду, а буду мало, много не хочу, расскажу мало.
Значит так:
1) Ищем
2) Смотрим
3) Видим
4) Делаем доры
5) Опять делаем доры
6) Ищем
7) Находим
8) Видим

Ну вот и всё! Удачи!“

Эта схема очень давно не менялась, но актуальна как и много лет назад. Да вот что тогда, что сейчас людям лень искать-смотреть-видеть, все хотят готовых тем. А давайте заставим хрумер с хрефером искать темы! Ну для примера заставим нашу сладкую парочку палить актуальные места для профильных фармадоров.


Первый пункт у нас «Ищем» — значит нужно заставить хрефер искать. Заставим его собрать ТОП 10 по запросам интересующей нас тематики.
Запускаем Hrefer, идем в меню Options->Parsing options . Снимаем галочки с

  • Convert all links to index (нас интересуют полные адреса страничек)
  • Log founded hight-PR freehostings into the FreeBonus.txt (эта опция замедляет процесс )
  • Enable filtering duplicated links by hostnames (нам полезно будет посчитать кол-во упоминаний хоста, это поможет провести качественный анализ)

Устанавливаем галочки на Do not use «Additive words» и Disable filtering by Template.

Теперь пришло время отметить 2 новых опции появившихся в версии 3.7

  • ставим галочку на Save ‘query -> URL’ info to filename_query.txt (эта фишка позволит нам в дальнейшем найти соответствие между запросом и ссылкой, что позволит работать более тонко)
  • ставим 1 в поле Deep of parsing (pages) (эта опция указывает сколько страниц выдачи парсить)

То, что мы отпарсим только 1 страничку это хорошо, но хрефер формирует запросы так, что поисковые системы отдают ему по 100 ссылок за один запрос, а нам нужно только 10.
Что делать? Править engines.ini , благо для этого в Hrefere есть отличный инструмент. Идем tuning-> engines.ini и изменяем параметры Query mask и Total Pages в соответствии с рисунком.

Обратите внимание — я изменил параметр Total Pages с 10 на 100. Зачем это сделано? Это сделано, чтоб не править engines.ini каждый раз когда приходится просто парсить гугл или анализировать выдачу. С такими настройками будет прекрасно работать и классический парсинг всей выдачи и парсинг ТОП10.
В принципе можно сделать отдельный шаблон для парсинга ТОП10… В некоторых случаях так будет даже правильней, поскольку можно жестко указать расширенные параметры поиска — такие как географию.

Теперь подсовываем Hrefer-у ключевые слова в качестве базы слов (Words Database), указываем файл, в какой будут собираться ссылки (у меня pharma_top10.txt) и запускаем парсинг. По окончании этого процесса в нашем файлике будут все ссылки на странички из ТОП10 по интересующим нас кеям.


Глазками и ручками такое количество ссылок нам не пересмотреть. Думаем – какие характерные признаки профильных доров? Самый очевидный признак – наличие в урле лобуды типа:


Так фильтранем же полученную базу используя эти признаки.
Для большего эффекта можно почистить базейку от пирожков запихнув в черный список еду и прочие стремные зоны. Создаем текстовый файлик black.txt, в котором укажем зоны вызывающие стрем и прочие педивикии. Запускаем Хрумер, идем в инструмент Фильтр базы ссылок, указываем путь к нашей базе, в качестве базы-фильтра указываем файл black.txt, в слова-фильтры прописываем признаки профилей. Короче, делаем все как на картинке ))))))))

Буквально через несколько минут парсинга мне удалось получить вот такой списочек.

В принципе есть чем заняться вечером )))))))))).

Вот мы и получили небольшой список профильных дорвеев из ТОП10 гугла. По алгоритму, написанному в самом верху ваши следующие шаги:

3) Видим ( изучаем доры из списка )
4) Делаем доры (делаем по образу и подобию свои)
5) Опять делаем доры

Но тут уж кто во что горазд. Учить копировать чужие темы я не стану. Скажу только, что профильные доры, в большинстве случаев, можно делать тем же Хрумером, если его немного обучить. А как облегчить себе задачу обучения Хрумера я подробно расписывал в предыдущей статье. И да, спамить доры, если кто забыл, можно тоже Хрумером )))

Немного лирики

Что можно улучшить в описанной схеме?

  • Есть смысл активно наполнять файлик black.txt запихивая туда кроме пирожков еще и всякие белые шопы, блоги и т.п. Что это даст – мы можем фильтровать получившуюся базу только black.txt и просматривать по диагонали полученный результат для отлавливания профилей, не попадающих в наши шаблоны URLa (/user/|/users/|/profile/|/people/|/member/|/members/|profile.php|member.php)
  • Есть смысл сделать скрипт, который будет подсчитывать количество упоминаний каждого хоста в нашей базе. Чем больше упоминаний – тем чаще этот хост в топе. А чем чаще он в топе, тем интересней на него взглянуть. Опять таки – отлавливаем профили не попадающие под нашу маску URL-ов. Именно для этой возможности я рекомендовал запретить hrefer-у фильтровать дубликаты ссылок.
  • Есть смысл анализировать по каким запросам вылезли в топ профили. Помните, мы во время настройки Hrefer поставили галочку на Save ‘query -> URL’ info to filename_query.txt? Вот тут то она нам и пригодится. Что нам дает знание того, по каким запросам профиль в топе? Мы сможем оценить запросы с какой конкурентностью данный ресурс в силах потянуть. Посмотрим по каким запросам вылез профиль на last.fm:

    Запросы откровенно слабенькие — значит по » buy viagra online» на last.fm делать доры нет смысла — можно не дождаться продаж.
  • По идее можно тырить кеи с чужих профильных доров. Но это уже сами – я свято верю в то, что у коллег тырить не хорошо.
  • Можно подправить engines.ini, для сбора ТОПа определенного региона. Кстати про регионы, если вдруг возникнет желание изучить состояние дел на специфических языках (например на иврите), то нужно быть готовым к тому, что Хрефер с ЮТФ-8 не дружит. Впрочем это элементарно обходится конвертацией запроса из UTF в URI формат.
  • Анализ беклинков. В данный момент с этим пунктом полнейшая неразбериха (из-за нововведений на Яху), но тема очень интересная. Дело в том, что многие фармовики имеют свои сети своих собственных гест, в которых спамят только они. Если удастся вычислить несколько таких гест, то о появлении новых трастовых площадок мы будем узнавать уже на этапе их проспамки, а не аж когда они вылезут в топ.
  • Анализ перелинковки профилей (на сегодня встречается крайне редко)
  • Можно отфильтровывать профиля прямо хрефером, используя sieve-filter. С одной стороны так было б проще…. С другой стороны я не использую этот способ так как люблю хоть по диагонали, хоть краем глаза…. но просмотреть полную базу ТОПа. Иногда глаз замечает очень интересные вещи.

Что плохо в данной схеме?
Плохо то, что работая по такой схеме ты ВСЕГДА отстаешь от конкурентов. Но для начала, чтоб почувствовать вкус онлайновых денег, тема не плоха.


Если совесть не позволяет тебе парить брату по разуму волшебные пилюли для членостояния, то трастовым профильным страничкам всегда можно найти другое применение. Например их можно заюзать под менее конкурентные тематики – например шмотки. Или использовать в качестве ссылочного донора.


Сегодня спалена одна, но очень важная тема – чтоб зарабатывать деньги в онлайне надо наконец то встать с дивана, вынуть палец из носа и наконец то начать ХОТЬ ЧТОТО делать. Интересных направлений еще достаточно.

Ну и конечно видюшка для тех, кому лень читать

И да, моя рефка .

В фарме денег нет! )))

З.Ы. З.Ы.
И никогда небыло! ))))

XRumer , ,

Облегчаем создание модов (на примере регера фришников на LayeredPanel).

27th Август, 2011
Комментарии к записи Облегчаем создание модов (на примере регера фришников на LayeredPanel). отключены

Статья написана для третьего конкурса статей , старт которому дал Botmaster.

Как показала практика, у многих возникают проблемы с созданием модов. В основном у людей возникают следующие 2 проблемы:
— Люди не знают и не хотят изучать HTML
— Достаточно сложно отслеживать действия Хрумера через существующую систему логирования

К сожалению, разработчики программного комплекса не смогут устранить ни первую проблему, ни вторую. Если с первой все и так понятно, то по второй проблеме разработчики вынуждены идтина компромисс – в слишком подробном логировании будет сложно разобраться, а при слишком скудном мы можем не увидеть важных для нас деталей.

К счастью я знаю, как решить обе проблемы и сделать отладку модов более наглядной, чем решил поделиться и с вами.

Основная идея – использование отладочного прокси. Я использую Fiddler, работу которого, в связке с Хрумером мы и рассмотрим ниже, но вы вольны использовать любой другой Debugging Proxy в зависимости от своих предпочтений. Все, тема спалена. Самые смекалистые уже закрыли страничку и побежалиставить Fiddler, а для остальных я приготовил длинную статью. До Война и мир ей конечно еще далеко….но букаф и картинок много ))) И да, картинки дрочибельны кликабельны

Предвижу вопрос – а чем же нам поможет отладочный прокси? Поможет очень многим. Во первых мы сможем проследить на какие страницы заходит Хрумер, какие скачивает картинки и как заполняет формы (это решает вторую проблему). Во вторых мы можем ручками зарегистрироваться на интересующем нас сайте и сравнить — чем заполняем формы мы, а чем Хрумер. Разумеется, при этом нужно и Хрумеру и браузеру сказать чтоб работали через наш проксик. В общем, хватит прелюдий, беремся за Хрумер.

Установку Fiddler-а описывать не стану – если уж у вас есть Хрумер, то вы как минимум адвансед юзер, значит осилите. Единственное – рекомендую отключить захват всего трафика (снять галку с Capture Traffic).

Для примера научим Хрумер регистрировать фришники на LayeredPanel, например 1000space.com. На таких фришниках знатная капча, которую через сервисы распознавания отгадывают весьма некорректно (тулят в ответ еще и серые буковки), а вот Хрумка щелкает на ура. Хотя на некоторых хостах стоит усложненный вариант этой капчи, с которой у Хрумки возникают проблемы, но с этим не ко мне, а сами знаете к кому ))). Если дружно попросите – сделает. Кардинальных различий я в тех капчах не заметил.

Для начала попробуем пройти процесс регистрации ручками. Настраиваем браузер на использование прокси. На скриншоте пример настройки для ИЕ

Запускаем Fiddler. Заходим через браузер на страницу регистрации http://www.001webs.com/register.jsp , заполняем форму и нажимаем кнопку Submit (кстати, стоит обратить внимание на то, что ответ на вопрос «How did you find us» мы выбираем из выпадающего списка, а значит ответ на него нужно будет указать в списке приоритетных разделов в проекте для Хрумера, аналогичная ситуация и с выбором поддомена). В итоге в окошке Fiddler-а мы получим что-то наподобии того, что изображено на скриншоте.

Разыскиваем строчку помеченную значком — таким значком отмечаются строки с POST запросами.

В правой части нашего отладочного прокси мы видим содержимое POST запроса:

В столбце Name перечислены имена элементов заполненной формы, а в столбце Value – значения, которыми мы их заполнили.

Теперь нам нужно добиться того, чтоб Хрумер отправил аналогичный запрос.

Для начала нужно научить Хрумер постить через наш проксик. Запускаем Хрумер, отключаем автообновление прокси

Включаем использование прокси

И закрываем Хрумер. Находим в папке с Хрумером файл xproxy.txt , и заменяем его содержимое одной единственной строчкой

Снова запускаем Хрумер. Обращаем внимание на строку «Количество прокси» на вкладке «Анонимность». Если все сделано правильно Хрумер увидит 1 прокси.

Создаем новый проект. Не забываем добавить в список приоритетных разделов ответ на вопрос «How did you find us»например Google и домен, поддомен которого мы хотим заполучить (в данном примере 1000space.com )

Включаем режим «Только регистрация»

Указываем адрес страницы регистрации и нажимаем кнопку Тест:

Получаем такой результат:

Как и в случае с ручным заполнением формы опускаемся на строчку, отмеченную значком POST запроса

И изучаем содержимое отправленной формы

Сравниваем с содержимым формы полученным при ручной регистрации. Как видим Xrumer пропустил одно поле – tos.

Как мы видим нам нужно заставить Хрумку присваивать полю tos значение 1 и все будет в шоколаде. Но это уже проще простого. Закрываем Хрумер, открываем файл xas.txt и добавляем в него в самом начале 2 строчки:

Первая строчка


– указывает на имя поля, которое нужно заполнить (первый столбик в Fiddlere), а вторая строчка:


Указывает на значение, которым нужно заполнить это поле (первый столбик в Fiddlere).

Управились! Проверяем.

Как говорится результат на лицо:

Чтобы окончательно убедиться что все тип топ можно нажать на троеточие в нижнем правом углу нашего отладочного прокси сервера и просмотреть ответ фришника в браузере. Меня фришник порадовал тем, что выслал письмо:

Теперь перед нами стоит 2 задачи – получить письмо и пройти второй этап регистрации.

Вопрос тюнинга файла xpop.txt рассматривался уже столько раз, что аж клавиатура стонет. В этом ничего военного нет, разберетесь сами. С вторым этапом регистрации все намного интересней, но в принципе действуем по тому же сценарию, что и с первым этапом.

Проходим регистрацию ручками:

По ходу ручной регистрации подмечаем стремные места:

— страна и категория сайта выбираются при помощи выпадающих списков, значит эти значения нужно вносить в список приоритетных разделов при составление проекта

Lastname и First name – 2 разных поля а в проекте у нас только одно поле – «Настоящее имя» Значит нужно будет переназначить какое-то поле.

Теперь пробуем заставить Хрумер пройти второй шаг регистрации. Правим наш проект – добавляем в список приоритетных разделов страну и категорию сайта.

Определяемся какое поле отведем для фамилии. Я решил, что ничего страшного не произойдет, если отвести под фамилию поле «Увлечения». В поле тема указываем «Site Name», а в поле с описанием – «Site Description»

Так как это по сути активация аккаунта – обязательно смените режим на MLinksList

Подставляем ссылку взятую из письма и нажимаем «Тест».

Факир был пьян и фокус не удался – как видим Хрумер отказался заполнять форму (хрумер не сделал ни одного POST запроса).

По всей видимости, его смутило отсутствие поля для текста. В таких случаях рекомендуется прописать признаки для флагов FORCE_TEXTAREA и FORCE_SUBJECT. Но что нм прописать в качестве признака? Мы ведь не знаем HTML и не станем рыться в этих страшных файлах! А нам и не нужно! В качестве признака неплохо подойдет название какого-то специфического поля в заполняемой форме. Ну, например, site_description.

Закрываем Хрумер, правим файл xmessages.txt:

Запускаем Хрумер и жмякаем на кнопку Тест.

Опять осечка.

Радует лишь то, что в этот раз Хрумер просто неправильно заполнил форму, а с этим мы бороться уже умеем. Сравниваем содержимое формы заполненной хрумером и заполненной руками и находим следующие отличия:

— неправильно заполнены имя и фамилия

— неправильно заполнено поле gender (1 вместо MAN)

— неправильно заполнено поле «Site Name»

— не заполнено поле«Site Description»

Открываем справку по хрумеру и ищем под какими названиями у нас прячутся поля.

Поле «Настоящее имя» (у нас в нем просто имя) прячется под названием REALNAME

Поле «Увлечения» (у нас в нем фамилия) прячется под названием INTERESTS

Поле «Тема» (у нас в нем «Site Name») прячется под названием SUBJ1

Поле с текстом сообщения (у нас в нем «Site Description») прячется под названием SUBJ2

Таким образом в форме нам нужно заполнить

first_name – значением REALNAME

last_name – значением INTERESTS

site_name – значением SUBJ1

site_description – значением SUBJ2

поле gender значением MAN

Вносим правки в xas.txt

Перезапускаем Хрумер. Что есть силы давим на кнопку «Тест».

Как видим форма заполнена правильно. Как и на первом шаге мы нажимаем на троеточие в нижнем правом углу нашего отладочного прокси
сервера и смотрим ответ фришника в браузере. У меня получилась вот такая картинко

Как видим все окейно — хрумка обучен регать фришники. Заметьте, что за время создания мода мы ниразу не заглянули в папку Debug и ни разу не заглядывали в HTML код страницы.

Те, кому лень читать (или те кто все прочитал и ничего не понял) могут посмотреть весь процесс на видео:


И да, моя рефка .

XRumer ,

Впечатления от сапорта Xrumera

28th Январь, 2009

Сегодня Support Xrumera забанил меня на форуме тех поддержки. Выяснение причин показало, что ему не понравилась пара матерных слов употребленных для выражения моего недовольства тем, что сорваны сроки выхода ежемесячных обновлений и полностью отсутствует техподдержка пользователей. Не хочу рассуждать на тему «а что еще можно сказать, если вместо обещанного <не позднее 3-го числа> мы до сих пор не получили январское обновление»… Черт с ним, может действительно на форуме Хрумера сидят не дорвейщики, а барышни-копирайтерши, вдохновленные синонимайзером хрумера :) … Им действительно было-б неприятно читать матерные слова… Но я хотел высказать свое мнение немного о другом — если Support раздает предупреждения и банит пользователей — значит на форуме он присутствует. Если Support присутствует на форуме, то почему он не отвечает на технические вопросы пользователей Хрумера? Я лично за 30 секунд нашел 3 темы с серьезными вопросами от пользователей, на которые уже больше недели никто из поддержки продукта не дает ответа. В теме про сорванный выход обновлений прозвучал вопрос — каким движкам обучаете сейчас Хрумер (чтоб народ мог собрать базы, раз уж обновление задерживается почти на 4 недели) — ответа ноль.

Мой вывод: в обязанности Support-а входит поддержание порядка на форуме. Тех поддержку Хрумера он не осуществляет. Итог: апдейтов нет, техподдержки нет. За что берут абонплату — ХЗ.

Недовольство техподдержки в принципе понятно. Но неужели они не понимают, что своими действиями довели пользователей до определенной точки, когда людям нужно выплеснуть негатив. Ну не буду я выплескивать негатив на закрытом форуме Ботмастера — выплесну его на серче, нулледе, юмаксе…. неужели им это пойдет на пользу?

Впрочем во всем есть свои плюсы — теперь время, тратившееся обычно на общение на форуме Ботмастера, можно потратить на что-то более полезное например на изучение Блогун-а.


Буржуи не пройдут

23rd Декабрь, 2008

На различных форумах время от времени всплывает вопрос — как выбрать с огромной базы форумов только русскоязычные? Частично на него ответил dimon799 в своей статье Урок Второй. Будем фильтровать базу. , написанной для конкурса .
Димон предложил выбирать форумы с кодировками KOI-8R WINDOWS-1251 . Весьма разумное предложение, но как-же быть с форумами в кодировке UTF-8 ? На СЕОшных форумах предлагают вспомнить основы программирования и написать распознавалку языков, либо более простой путь – забить. На попытки выспросить более приемлимые пути обижаются и заводят песню про невозможность невозможного в обозримом настоящем. Народ, блин, ну проявите хоть чуток фантазии! Откройте наугад 3 рускоязычных форума… ну например
Конечно! В русскоязычных форумах названия разделов обычно состоят из русских слов :). И очень часто встречаются слова типа флейм, курилка, общий, обьявления, реклама. Достаточно прошерстить форумы по методу предложенному dimon799, добавив к кодировкам список слов, часто встречающихся в названиях разделов. Итак для начала выберем форумы с кодировкой UTF-8. используем для этого «Анализатор базы ссылок» и методику описанную dimon799.

Затем собираем список слов, встречающихся в названиях разделов. Уже начали наполнять список? Не торопитесь – ведь у нас в руках 5-я версия хрумера! Именно в ней появилась замечательная опция «Вести лог списков разделов на форумах».

Включаем эту опцию, делаем тестовый прогон нашей базы, смотрим в файл Logs/CategoriesLog id*.txt , выбираем из него русские слова и … тут нас ожидает очередная засада – нам нужен инструмент, корректно работающий с русским языком и UTF-8. Недолгие поиски результата не принесли, поэтому было решено сваять такой инструмент самому. Писалось, как обычно, на коленке пяткой левой ноги… поэтому к инструменту нужен особый подход :).
Изучаем скриншот.

Жмем кнопку Load Url и загружаем список форумов с кодировкой UTF-8. В поле паттерна вводим что-то наподобие

(Курилка|Оффтопик|Юмор|Болталка|Общий|и т.д и т.п)
Синтаксис очень простой — внутри скобок перечисляем слова или словосочетания разделенные вертикальной чертой.
Выставляем кол-во потоков и жмем Parse. Как увидим что инструмент отработал – жмем Save – список русских форумов сохранится в файл c:url.txt . Разумеется, у программы должны быть права на запись в корень диска C.
Скачать сей чудесный программный продукт можно по не менее чудесной гиперссылке. Продукту для работы нужен .NET Framework 2.0 – без него работать не будет.
Вот и все. Как оказалось не так страшен UTF, как его малюют.
Важное замечание – при этой проверке база форумов должна быть приведена к индексу. Сделать это можно Hrefer-om или инструментом «Пост-обработка ссылок».

Людям купившим Xrumer по моей ссылке я не делаю откат в размере 50 долларов… Но могу помочь советами, а это намного дороже денег!

XRumer ,

Крутим белый сайт досками.

5th Декабрь, 2008
Комментарии к записи Крутим белый сайт досками. отключены

Постановка задачи.

1) Белый (условно белый ) сайт, который мы хотим монетизировать.
2) Xrumer 5-й серии
Либо трафик – продажа реальных товаров, контекстная реклама и т.д.
Либо пузо – продажа ссылок.
А лучше и того и другого и можно без хлеба (с) Винни-Пух .
Таким макаром наши задачи сводятся к банальным – нагнать посетителей и нарастить пузо.
Для реализации наших замыслов выберем жертв – доски объявлений, благо мод для постинга в них мы уже сделали.

Наращивание пуза

Как Вы помните, при регистрации пользователя в доске мы указываем адрес веб страницы…

У Вас может возникнуть соблазн прогнать ресурс в режиме «Только регистрация» — по аналогии с форумами и сидеть сложа руки ждать прироста пуза, но я бы не рекомендовал так делать и вот почему – посмотрите на эти 2 ресурса форум и доска . Заметили разницу? На форуме есть ссылка , пройдя по которой бот поисковой системы увидит список пользователей и рано или поздно найдет нашего пользователя… у досок такой ссылки нет. Какой выход? Либо постить объявления (тогда в тексте объявления появится ссылка на наш сайт и на наш профиль) либо самому скармливать боту ссылки на созданные профили. Второй путь в принципе не сложный – благо все ссылки на профили в досках WR-Board имеют вид tools.php?event=profile&pname=username, следовательно, имея список ресурсов в которых мы зарегистрировались и зная логин пользователя, мы можем создать список ссылок на профили, которые затем скормить поисковикам, например при помощи «Ускорителя могучего робота Яндекса»
Какой путь выбрать – дело вкуса. Лично мне проще первый путь, но если какие-то ссылочки не торопятся индексироваться – не грех этот процесс ускорить :).

Нагоняем траф.

Посмотрите на выдачу Яши . Если на первой странице еще попадаются нормальные ресурсы, то вторая страница похожа на выдачу рамы по эдалт запросу :) . Сообразили о чем я ? Доски в данном случае работают как доры – они вылазят по нужным нам запросам, порой обгоняя основной сайт, и перенаправляют трафик по назначению :). Причем при умелом подходе можно засрать всю выдачу и пользователь решит, что у Вас нет конкурентов :).

Несколько слов про «умелый подход» — посмотрите выборочно пару-тройку досок из ссылки приведенной выше. Посмотрели? Так вот ТАК ДЕЛАТЬ КАТЕГОРИЧЕСКИ НЕЛЬЗЯ! Конечно у меня есть тысяча отмазок типа – я не ставил своей целью привлекать траф и вообще это был тестовый прогон…. Но если Вы хотите получать соответствующий выхлоп – потрудитесь подобрать соответствующие вашей тематике НЧ кейворды и использовать систему вариаций при составлении текста объявления. Обратите внимание на то, что в системе вариаций Вы можете использовать не только отдельные слова, но и словосочитания, предложения, фрагменты текста.

Только не стоит в погоне за уникальностью текста постить в доски марковку :) Также не стоит пытаться впихнуть в текст объявления всю базу Пастухова :) . Составляйте тексты объявлений для людей, но с вхождением нужных кеев.

Дерзайте, и да прибудет с Вами траф!

Если у Вас еще нет, Xrumer-а, но Вы уже поняли что он Вам нужен — держите ссылку на сайт разработчика

XRumer ,

Делаем мод для XRumer-а. Часть 4-я, последняя

4th Декабрь, 2008

Пришло время обучить Xrumer находить и заполнять форму подачи объявления.
Смотрим по какому URL находится форма — add.php , отлично, добавляем в xurl соответствующее правило:


Все, Хрумер знает где искать форму. Правда не сложно?
Теперь обучим его заполнять поля формы.

Смотрим исходный код формы:
<form action="add.php?event=add" enctype="multipart/form-data" method="post"><strong>Добавление объявления</strong> Категория: <select class="maxiinput" name="rubrika"> <option style="color: #CD8181;" value="0|||||">Работа и бизнес</option> <option value="71|72|Разное|Прочие мелочи|"> -   Прочие мелочи</option> </select><input name="stime" type="hidden" value="1228399684" /> Тема объявления:<span style="color: #ff0000;">*</span> (не более 60 символов) <input class="maxiinput" maxlength="60" name="zag" /> Текст объявления: <textarea class="maxiinput" style="height: 200px; width: 300px;" name="msg"></textarea> Тип объявления:<span style="color: #ff0000;">*</span> <input name="type" type="radio" value="П" /><strong><span style="color: #ee2200;">П</span></strong>редложение <input name="type" type="radio" value="С" /><strong><span style="color: #1414cd;">С</span></strong>прос Ваше имя: <input name="name" type="hidden" value="testnik" /><strong>testnik</strong> Срок хранения объявления: <select style="FONT-SIZE: 13px" name="days"> <option value="7">7 дней</option> <option value="14">14 дней</option> <option value="30">30 дней</option> <option value="60">60 дней</option> <option value="90">90 дней</option></select><input class="longok" type="submit" value="Сохранить" /> </form>

Как видим нам нужно заполнить следующие поля:
rubrika — выбор рубрики
zag — тема обьявления
msg — текст обьявления
type — тип обьявления
days — срок хранения обьявления
Поле rubrika мы игнорируем – это обычный SELECT и Хрумер сам будет пытаться выбрать значение соответствующее списку приоритетных разделов проекта.
Срок хранения имеет смысл сделать максимально возможным – 90 дней (нужно передать значение 90), а тип объявления – предложение (нужно передать значение П).
Открываем xas.txt и добавляем в него следующие строки:


Все! Мод готов!
Если лень идти пошагово — можно скачать готовый мод .

Следует заметить, что мы получили очень сырой мод. В чем его сырость – не думаю, что админы спят и видят, чтоб на их досках паслись исключительно боты, соответственно всеми доступными им средствами будут бороться с нами – менять урлы, добавлять поля и т.д. Поэтому чтоб получить полноценный мод нужно провести еще довольно таки большую работу по анализу имеющихся досок, но мне этим занимается некогда…

Пара советов для желающих довести данный мод до ума:
1) Соберите большую базу, прогоните по ней тестовый проект с включенной системой самообучения – так Вы отловите неизвестные программе поля.
2) При прогоне включайте подробные отчеты – так Вы отловите ресурсы с измененной структурой ссылок.
Что делать с полученным добром Вы уже знаете ;)

XRumer ,

Делаем мод для XRumer-а. Часть 3-я обучаем Хрумер логиниться в досках

3rd Декабрь, 2008
Комментарии к записи Делаем мод для XRumer-а. Часть 3-я обучаем Хрумер логиниться в досках отключены

Обучаем Хрумер логиниться в досках.

Привет всем, кто с нами. Продолжаем нашу повесть про обучение Xrumer-a.
Сейчас мы научим логиниться в досках. Сразу скажу, что обычно это не нужно – Xrumer прекрасно поддерживает сессии и большинство досок считает вас залогонеными сразу после регистрации, но, как говорится, случаи бывают разные.
Первым делом обучим XRumer отличать ресурсы где мы уже залогонены, от ресурсов где нам предстоит войти под своим именем. Запускаем любимы браузер, идем в любую доску и логинимся там ручками… Сделали? Что изменилось? Правильно, появилась надпись «Ваш Профиль» — чем не флаг для XRumer-а? Смотрим как эта надпись выглядит в HTML виде и добавляем ее к списку маркеров флага LOGGEDIN (надеюсь Вы еще не забыли, что список флагов состояний программы находится в xmessages.txt). Для версии 5.02 должно получится так:

#<strong>Logged in as:;>Log Out</a>;act=Login&CODE=03;loged in;&action=logout;?action=logout;?logout=true;Ваша регистрация закончена.;вы вошли как:;registration is now complete;you may now begin posting using your new username and password;Ваша регистрация теперь завершена.;Спасибо, Вы зарегистрировались и авторизованы;logout.php;Регистрация завершена. Вход и переадресация...;Вы зашли как <b>;hello, dear <b>;Вы зашли под логином: ;>You are logged on as<br>;>0 messages</a>, 0 are new.<br;index.php?action=logout;>You may now begin posting using your new UserName and Password.<;/ubb/my_profile.;Your registration is complete and you are now logged in;>logout</a>;>log out [ ;>Вы вошли как <A href="javascript://";<p class="home"><b>Вошли как:;<a href="log_off_user.asp";>Ваш Профиль<

Теперь научим XRumer находить форму входа. Форма во всех рассматриваемых досках находится по адресу tools.php?event=login , следовательно нам нужно прописать в файле xurl.txt правило, согласно которому хрумер будет перемещаться на страницу логина.
Добавляем в xurl.txt следующие строки:


Следующий этап – заполнение и отправка формы регистрации.
Смотрим HTML код формы:

<form action="tools.php?event=regenter" method="post">
<strong>Вход в систему</strong>
Имя:<input class="miniinput" name="myname" />
Пароль:<input class="miniinput" name="mypassword" type="password" />
<input class="longok" type="submit" value="Войти" />

Как видим XRumeru нужно заполнить всего 2 поля: myname и mypassword. Добавляем эти поля в файл xas.txt, не забывая, что Хрумер учитывает и вхождение слов в поля.
В итоге xas.txt примет такой вид:



Может возникнуть вопрос – куда делось поле mypassword? А никуда не делось – Хрумер увидит , что описанное нами в xas.txt имя password входит в mypassword и прекрасно его заполнит.
Проверяем что у нас получилось – включаем режим «Рассылка от ранее зарегистрированного пользователя» и нажимаем кнопочку Тест. Тут нас ожидает неприятный сюрприз — Хрумер грязно выругался фразой «Result: не нашлось формы для отправки; «. Проверяем содержимое папки Debug — видим, что Хрумер таки заходил на страницу логина, но форму чего-то незаполнил… Уж не знаю с чем это связано, но сдается мне именно с этим связаны крики о плохом пробиве в режиме «Рассылка от ранее зарегистрированного пользователя» . Анализ ситуации привел меня к весьма неутешительному выводу – хрумер хочет найти полноценную форму с сабжектом и textarea, и ему абсолютно посрать на то, что мы тут должны всего-то залогониться… У нас нет особого выбора кроме как сказать ему, что на данной страничке эти поля не является жизненно необходимыми. Открываем файл флагов состояний (xmessages.txt) и добавляем признак формы логина (например строку name=mypassword) для флагов FORCE_TEXTAREA и FORCE_SUBJECT.
Получатся такие 2 строки:


Перезапускаем XRumer и снова нажимаем кнопочку Тест.
Изучаем папку Debug и радуемся полученному результату.

не забудьте по окончании теста снять галочку «Рассылка от ранее зарегистрированного пользователя», а то завтра на форуме Ботмастера будет куча гневных постов из разряда «пробив гавно» :-)

XRumer ,

Делаем мод для XRumer-а. Часть 2-я регистрация в ресурсах.

30th Ноябрь, 2008

Пришло время обучить XRumer регистрации в досках. Тут не все так просто. Сначала нам нужно объяснить ему, что ОБЯЗАТЕЛЬНО нужно регистрироваться иначе он будет пытаться постить анонимно… разумеется в настройках XRumer-а есть галочка «Обязательная регистрация + постинг»,

но мы не ищем легких путей :).

Давайте найдем признак, который сможет подсказать XRumer-у, что нужно обязательно зарегистрироваться. Что такое есть уникальное в движке, что может служить признаком? Да что угодно! Хоть кусок ссылки на страницу регистрации! Так и запишем!

Открываем файл xmessages.txt , находим в нем строку REGANYWAY и в конец предыдущей строки добавляем ;event=reg
Для XRumer-а это будет служить подсказкой, что первым делом надо завести тут аккаунт.
Отлично, теперь надо обьяснить ему что для регистрации аккаунта нужно перейти по ссылке tools.php?event=login . За логику перемещения XRumer-а по сайтам отвечает файл xurl.txt, читаем справку:


AddLinkRule([область_поиска,’строка’, необязательный_параметр_логики,

], метка_ссылки);

область поиска — цифровое значение, задающее, где именно производится поиск строки: 0 — ссылка в нижнем регистре, 1 — ссылка как есть в
HTML-коде, 2 — ссылка вместе с анкором в нижнем регистре
строка — строчка, которая должна входить в область поиска, чтобы данное правило выполнялось
необязательный_параметр_логики — здесь может быть прописан или не прописан false; если прописан false, это значит, что строка наоборот НЕ
должна присутствовать в области поиска
метка ссылки — это метка, которой будет помечена данная ссылка если заданное правило выполняется:
URL_TONEWPOST — ссылка на создание нового сообщения / топика
URL_TOREGISTRATION — ссылка на регистрацию

И согласно синтаксису описанному в справке добавляем в него правило:


Важный момент – XRumer зверь своенравный и есть у него одна черта не описанная в справке – первое правило файла xurl.txt он игнорирует. Поэтому стоит первым правилом поставить какую-то пустышку, например


Тогда на данном этапе наш xurl.txt примет вид:


Следующий этап – обучение полям формы регистрации. Тут все очень просто – смотрим на форму
на страничке http://board.baxonet.com/tools.php?event=reg и понимаем, что нам нужно заполнить поля:

Поставить галочку «С правилами ознакомлен»
Ну и конечно-же URL

Остальные по желанию.
Смотрим html код странички , точнее фрагмент отвечающий за вывод формы:

<form action="tools.php?event=reguser" method="post"> <strong>Регистрация</strong> Имя:<span style="color: #ff0000;">*</span><input class="maxiinput" maxlength="25" name="login" /> Пароль:<span style="color: #ff0000;">*</span><input class="maxiinput" maxlength="25" name="password" type="password" /> E-mail:<span style="color: #ff0000;">*</span><input class="maxiinput" maxlength="40" name="email" /> Город:<input class="maxiinput" maxlength="60" name="gorod" /> URL:<input class="maxiinput" maxlength="40" name="url" /> ICQ:<input class="maxiinput" maxlength="15" name="icq" /> Телефон:<input class="maxiinput" maxlength="20" name="phone" /> Организация:<input class="maxiinput" maxlength="50" name="company" /> Коротко о себе:<textarea class="maxiinput" name="about"></textarea> <input name="rules" type="checkbox" />С <strong><a href="tools.php?event=about">правилами</a></strong> ознакомлен <input class="longok" type="submit" value="Зарегистрироваться" /> </form>

Обнаруживаем, что
Имени соответствует поле — login
Паролю — password
E-mail-у — email
галочке «С правилами ознакомлен» — rules
URL – url

Важно! Мы видим, что кроме вышеперечисленных полей есть еще и поля gorod, icq, phone, company, about – нам они не нужны, но если XRumer не будет знать как их заполнять, то форму он не заполнит и не отправит. Поэтому важно собрать все поля из формы, а в файле ассоциаций присвоим им пустое значение.

Все поля собраны, открываем справку по файлу ассоциаций xas.txt:



Где «имя_поля» — это имя поля формы в HTML (например, в

<input name="login" />

— имя поля это login), а «присваиваемое_значение» — то значение,
которым должны заполяться данные поля:

NICKNAME — никнейм пользователя
PASSWORD — пароль
MESSAGE — текст отправляемого сообщения
EMAIL — адрес электронной почты
SUBJ1 — заголовок топика
HOMEPAGE — домашняя страница
любое другое значение — значение, указанное пользователем

Прописываем правила в соответствии с синтаксисом:



Пояснений, пожалуй, требуют только последние строки. Поле rules у нас фактически чекбокс и приличный браузер должен отослать 1 если этот чекбокс отмечен, соответственно мы прописываем 1 в строке «присваиваемое_значение». Поля gorod, icq, phone, company, about мы решили не заполнять, соответственно оставляем там пустую строку (но заполнить их абсолютно не проблема, кому понадобится — может сделать в рамках закрепления пройденного материала).
Ну и отдельное ВНИМАНИЕ на поле email! Все заметили, что там появилось упоминание !mail ? Это фича XRumer-а , хотя она там и не нужна (по логике), но без нее ничего работать не будет… не пытайтесь это понять, просто запомните !mail; ставить надо полюбому.

Пришло время проверить чему мы там наобучали XRumer.
Создадим простейший тестовый проект – что-то типа этого:

Запускаем хрумер, в поле урла для тестирования вводим http://board.baxonet.com, жмем на кнопку Тест, закрываем хрумер.

Идем в папку Debug ищем там файл вида LAST GET idх.htm , просматриваем его в браузере, если видим надпись типа «Вы успешно зарегистрированы.» , значит все сделали правильно. Если не видим такой надписи – значит где-то допустили ошибку – проверяйте содержимое измененных файлов.
Теперь нам нужно объяснить Хрумеру , что наличие строки «Вы успешно зарегистрированы.» является 100 процентным признаком успешной регистрации. Для начала посмотрим наш файл в виде html — обнаруживаем, что для машины наш признак будет выглядеть так:

>, Вы успешно зарегистрированы. <

Теперь добавляем этот признак в файл xmessages.txt , для этого находим в нем строку
И к строке находящейся над REGISTERED добавляем

;>, Вы успешно зарегистрированы. <

Все, Хрумер обучен регистрации на досках WR-Board.

Правда просто?

XRumer , ,