Google

Вообщем все оказалось прозаичнее, надо дергать запрос проверки пароля. Это думаю уже отснифите сами.

То есть не нужно ничего кроме того, что описал в первой попытке.

Всем удачи в нелегкой борьбе с гуглом.

Гугл опять что-то меняет. Никак не могу написать регалку для сабжевого мыла. Копирую заголовки один в один с браузера, приходит назад такая же заполненная страница и всё тут. Спалите кто-нибудь рабочий вариант.

Логика регистрации сейчас простая. Идем на http://mail.google.com/mail/signup включая handleredirects, сохраняем последний урл для поста, показываем капчу, беря ее адрес с html кода страницы, она будет выглядеть типа так: Капча

Далее отправляем post запрос с такими полями:


Sdata:=Sdata+'type=2';
Sdata:=Sdata+'&loc=RU';
Sdata:=Sdata+'&dsh='+GetField(html, 'dsh');
Sdata:=Sdata+'&ktl=';
Sdata:=Sdata+'&ktf=';
Sdata:=Sdata+'&FirstName='+GenAccount;
Sdata:=Sdata+'&LastName='+GenAccount;
Sdata:=Sdata+'&UsernameSelector=header';
Sdata:=Sdata+'&Email='+GenAccount;
Sdata:=Sdata+'&edk=gmail.com';
p:=GenPassword;
Sdata:=Sdata+'&Passwd='+p;
Sdata:=Sdata+'&PasswdAgain='+p;
Sdata:=Sdata+'&PersistentCookie=no';
Sdata:=Sdata+'&rmShown=1';
Sdata:=Sdata+'&smhck=1';
Sdata:=Sdata+'&nshk=1';
Sdata:=Sdata+'&selection=ownquestion';
Sdata:=Sdata+'&ownquestion='+GenAccount;
Sdata:=Sdata+'&IdentityAnswer='+GenPassword;
Sdata:=Sdata+'&SecondaryEmail=';
Sdata:=Sdata+'&newaccounttoken='+GetField(html, 'newaccounttoken');
Sdata:=Sdata+'&newaccounturl='+httpencode(GetField(html, 'newaccounturl'));
Sdata:=Sdata+'&newaccounttoken_audio='+GetField(html, 'newaccounttoken_audio');
Sdata:=Sdata+'&newaccounturl_audio='+httpencode(GetField(html, 'newaccounturl_audio'));
Sdata:=Sdata+'&newaccountcaptcha='+Edit1.Text;
Sdata:=Sdata+'&program_policy_url='+httpencode('http://mail.google.com/mail/help/intl/ru/program_policies.html');
Sdata:=Sdata+'&privacy_policy_url='+httpencode('http://www.google.com/intl/ru/privacy.html');
Sdata:=Sdata+'&requested_tos_location=undefined';
Sdata:=Sdata+'&requested_tos_language=ru';
Sdata:=Sdata+'&served_tos_location=RU';
Sdata:=Sdata+'&served_tos_language=ru';
Sdata:=Sdata+'&submitbutton=I+accept.+Create+my+account.';

Не забываем указать рефер и заголовки как отдает браузер. Вообщем все это не дает желаемого результата.

P.S. Да уж, с LiveWriter код нормально не опубликовать, сцуко.

Решил написать фришную тулзу – по определению фильтра над фрихостом. Алгоритм пока простой.

Ищем в гугле по site:url (выставляя английский язык) 50 результатов. Берем тайтлы этих 50 результатов и ищем их в гугле при полном совпадении, то есть в кавычках. Наш фришник должен быть в 50 результатах.

Далее, смотрим при котором количестве результатов он был в топ50, при котором нет. Грань тут выставить сложно, поэтому просто выводим результататы. Утилита почти готова, только уж очень простые критерии. Подкиньте на ваш взгляд несложные методы, чтобы определить, не под фильтром ли фришник, и на этой неделе ждите релиз утилиты.

Перешел сегодня на Delphi2009, так как устал бороться с UTF. Работает на мой взгляд быстрее чем Delphi 2007.

Теперь об интересном. О блогах, что прислали заявки. Их чего то не так много, как хотелось, поэтому расскажу обо всех тех двух, что не постеснялись.

Первый прекрасный блог от не менее прекрасной половины человечества – девушке кодере или кодерше. Пишет на Delphi, юзает Firebird, специализируется на парсинге всего чего ей придет на ум. Последние посты об автоматизации постинга в WordPress. Конечно может я мало чего понимаю, но есть же xmlrpc и все станет гораздо проще, но ради практики это стоит пробовать. Честно скажу, что подписался.

Второй блог – как я понял белого сеошника, поставившего себе планку – выйти на результат в пассивный доход 60 косарей всего за 60 дней. Прям как путешествие «вокруг света за 80 дней». Цифра в 60 тыщ и не большая и не маленькая, бум следить за развитием событий, надеюсь автор и тут будет изредка делиться своими успехами и секретами, которые не жалко отдать в паблик.

За сим на сегодня все – 5 утра, мне не фига не спицца, переставил винду, «подрочил» на статсы,  и сижу рисую, как теперь выводить на фришниках. Вообщем оставляйте заявки на обзор ваших блогов, только не в комментах, а через обратную связь. Удачи, и не болеть.

Закончив писать «конфирмилку» для Gmail я вот что обнаружил, почту от гугла можно тоже получать как rss.

Если баян, то сорри, я был удивлен, нашел это после того как полностью уже дописал код при помощи ssl и pop3 на нестандартном порту  ((

Ну а как получать почту, можно узнать под катом.

[click to continue...]

Наконец-таки все импортнулось, как я и планировал.

Выкладываю 3 подборки запросов: «buy jewellery», «free sex», «porn movie«.

Скажу по секрету – все это хранится у меня в mysql базе с fulltext полем. Индекс делался конечно очень долго, почти четверо суток, зато запросы выполняется в среднем 30-90 секунд. Только вот с оптимизацией мускула все очень и очень не просто. ((

Запрос для поиска выглядит так: SELECT keyw FROM base WHERE MATCH (keyw) AGAINST (‘+free +sex’ IN BOOLEAN MODE).

P.S. На днях купил я себе апостер, в ближайшие дни расскажу о своих впечатлениях. Пока только позитив скоростью работы и отзывчивостью саппорта.

P.P.S. Кеи под катом. Условия для публикации кеев указан в этом посту. Критикуем, оставляем заявки.

[click to continue...]

Есть у меня база ключевиков, около 160 миллионов. Есть там конечно мусор и мусорные кей. Еще дня 3 она будет импортироваться для создания индекса.

Раз в неделю будут публиковаться 3 выборки из базы по 2х и 3х сложным кеям.

Пишем в комменты чего хотим увидеть. Первые 3 просьбы будут точно выполнены, остальное на мое усмотрение.

p.s. Кроме все прочего, чтобы получить нужную выборку надо сослаться на этот пост. Да, вот такой вот я меркантильный.

Начал писать фришную тулзу по поиску формы на странице и оценка ее для возможности постинга. Также хочу чтобы еще можно было отслеживать сам пост.

Итак – что имеем сейчас на этот момент. Написал небольшой анализатор формы. Программа берет урл гостевой и оценивает форму. Вот пример гостевой и результат – http://www.letsrockandroll.net/guestbook/AddGuest.html

Используется оценка формы на нахождение элементов и капчи. Схема довольна известная – ищем все формы на странице и начинаем оценивать форму. Нашли input +10 к форме, textarea +100, img –500. Для картинки еще надо ввести наверное поиск размеры картинки и близость к элементу INPUT. По такой схеме подходят для постинга те, кто набрал более 100 баллов. Верхнюю планку не будет отслеживать. Теперь вот вопрос, я никак не реагирую на hidden поля, то есть оценка не меняется. Также есть еще типы INPUT type:checkbox, radio и есть SELECT. Тут я потерялся – как правильнее считать такое. Если есть мысли или вдруг делали такое – подскажите плиз

Ко всему прочему я так понимаю, правильнее будет учитывать имена поля name для оценки и как то увеличивать значения для формы.

Теперь насчет нахождения поста или формы для добавления. К примеру у нас есть урл на страницу где есть сообщения. Собираем все линки на странице, ищем по шаблону текст в ссылке и/или адресу ссылки внутри домена. То есть форму найти достаточно просто, как только соберем приличный словарь.

Но теперь наоборот, имеем страницу из примера выше, как найти страницу поста и его проходимость. Во первых на post мы должны получить ответ 200 или 301. Тогда с большей уверенностью можно сказать, что пост прошел. Теперь как его искать?! По той же логике – ищем на странице все ссылки и оцениваем. В примере выше нету ссылок, тогда пытаемся перейти на уровень ниже – то есть http://www.letsrockandroll.net/guestbook/ И вот тут не понятно, если и тут не нашли ссылки на наши посты, стоит ли идти дальше. Вообщем пишите что думаете по этому поводу.

P.S. К сожалению конкурс отодвигается минимум на неделю. Следите за постами на блоге. Не все вопросы утряс со спонсорами еще.

Долго искал себе статистику на белые проекты с поддоменами. Li.ru всем хорош, но сгруппировать можно только с некоторыми условиями.
[code lang='php']1) добавить все нужные домены в список синонимов сайта
на странице изменения описания сайта:

http://www.liveinternet.ru/stat/group.ru/edit.html

достоинства: нужно лишь добавить домены в список и всё;
код счетчика на страницах менять не нужно.

недостатки: количество доменов ограничено (250 символов на
все); все домены нужно явно добавлять; статистика по страницам
будет некорректна: не будут указаны реальные адреса доменов,
все ссылки будут начинаться с group.ru, поскольку синонимы
предназначены именно для определения разных адресов одного и
того же сайта; не будет возможности посмотреть отдельную
статистику по какому-то из сайтов.[/code]

Из-за ограничений он мне и не подошел. Платные решения типа CnStats не особо прельщали. Моя любимая статистика от Гугла на первый взгляд не могла работать с субдоменами, но гугление привело к чуду Надо немного изменить код от гугла и добавить фильтр. Все подробности тут: как отслеживать все субдомены сайта в одном профиле?

P.S. Кстати не забудьте подписаться на блог, буквально на днях мегаконкурс с призами в размере около 1000 американских президентов.

Итак, готов релиз. Исправил все ошибки.
Возможности:
1. Проверка списка url на ответы сервера.
200 ответ сервера – хорошие урлы
Отличные от 200 ответа – плохие урлы
Наличие в коде страницы тега form
Наличие в коде страницы тега nofollow
2. Конфигурирование проверок и сохранения, через простую форму настроек.
3. Сохранение проекта проверки.
4. Сохранение промежуточных результатов.
5. Простая установка.

Кто качал старую версию, ставьте просто поверх.
404 чекер – релиз

P.S. Свершилось у моих программ появился спонсор – партнерка HitsConverter.com. Спешим регистрироваться и получать мегабабла на мп3 трафе. Инвайта можно взять у меня.