 |
Начал писать фришную тулзу по поиску формы на странице и оценка ее для возможности постинга. Также хочу чтобы еще можно было отслеживать сам пост.
Итак – что имеем сейчас на этот момент. Написал небольшой анализатор формы. Программа берет урл гостевой и оценивает форму. Вот пример гостевой и результат – http://www.letsrockandroll.net/guestbook/AddGuest.html
Используется оценка формы на нахождение элементов и капчи. Схема довольна известная – ищем все формы на странице и начинаем оценивать форму. Нашли input +10 к форме, textarea +100, img –500. Для картинки еще надо ввести наверное поиск размеры картинки и близость к элементу INPUT. По такой схеме подходят для постинга те, кто набрал более 100 баллов. Верхнюю планку не будет отслеживать. Теперь вот вопрос, я никак не реагирую на hidden поля, то есть оценка не меняется. Также есть еще типы INPUT type:checkbox, radio и есть SELECT. Тут я потерялся - как правильнее считать такое. Если есть мысли или вдруг делали такое – подскажите плиз 
Ко всему прочему я так понимаю, правильнее будет учитывать имена поля name для оценки и как то увеличивать значения для формы.
Теперь насчет нахождения поста или формы для добавления. К примеру у нас есть урл на страницу где есть сообщения. Собираем все линки на странице, ищем по шаблону текст в ссылке и/или адресу ссылки внутри домена. То есть форму найти достаточно просто, как только соберем приличный словарь.
Но теперь наоборот, имеем страницу из примера выше, как найти страницу поста и его проходимость. Во первых на post мы должны получить ответ 200 или 301. Тогда с большей уверенностью можно сказать, что пост прошел. Теперь как его искать?! По той же логике – ищем на странице все ссылки и оцениваем. В примере выше нету ссылок, тогда пытаемся перейти на уровень ниже – то есть http://www.letsrockandroll.net/guestbook/ И вот тут не понятно, если и тут не нашли ссылки на наши посты, стоит ли идти дальше. Вообщем пишите что думаете по этому поводу.
P.S. К сожалению конкурс отодвигается минимум на неделю. Следите за постами на блоге. Не все вопросы утряс со спонсорами еще.
Долго искал себе статистику на белые проекты с поддоменами. Li.ru всем хорош, но сгруппировать можно только с некоторыми условиями.
1) добавить все нужные домены в список синонимов сайта
на странице изменения описания сайта:
http://www.liveinternet.ru/stat/group.ru/edit.html
достоинства: нужно лишь добавить домены в список и всё;
код счетчика на страницах менять не нужно.
недостатки: количество доменов ограничено (250 символов на
все); все домены нужно явно добавлять; статистика по страницам
будет некорректна: не будут указаны реальные адреса доменов,
все ссылки будут начинаться с group.ru, поскольку синонимы
предназначены именно для определения разных адресов одного и
того же сайта; не будет возможности посмотреть отдельную
статистику по какому-то из сайтов.
Из-за ограничений он мне и не подошел. Платные решения типа CnStats не особо прельщали. Моя любимая статистика от Гугла на первый взгляд не могла работать с субдоменами, но гугление привело к чуду  Надо немного изменить код от гугла и добавить фильтр. Все подробности тут: как отслеживать все субдомены сайта в одном профиле?
P.S. Кстати не забудьте подписаться на блог, буквально на днях мегаконкурс с призами в размере около 1000 американских президентов.
Итак, готов релиз. Исправил все ошибки.
Возможности:
1. Проверка списка url на ответы сервера.
200 ответ сервера - хорошие урлы
Отличные от 200 ответа - плохие урлы
Наличие в коде страницы тега form
Наличие в коде страницы тега nofollow
2. Конфигурирование проверок и сохранения, через простую форму настроек.
3. Сохранение проекта проверки.
4. Сохранение промежуточных результатов.
5. Простая установка.
Кто качал старую версию, ставьте просто поверх.
404 чекер - релиз
P.S. Свершилось у моих программ появился спонсор - партнерка HitsConverter.com. Спешим регистрироваться и получать мегабабла на мп3 трафе. Инвайта можно взять у меня.
 Итак, новая более продвинутая версия 404 чекера. Пока опции проверки формы и nofollow недоступны, но уже завтра - ко дню рождения блога, будет это доступно.
Итак фичи:
1. Настройка потоков вынесена в интефейс.
2. Настройка сохранения плохих и хороших урлов также в интерфейсе.
3. Возможность остановки процесса, а также продолжения чекинга с прошедшего места.
4. Нормальный выход из программы, с сохранением результатов чекинга.
Качать под катом.
далее 404 чекер - версия 0.2b
Что исправлено:
1. Разделение на абзацы.
2. Ошибка "сервера поддержки".
3. Ошибка генерации, если в кейворде не символьные или цифровые символы, исключения "-_,.".
Вот собственно и все.
Качаем новую версию. - DoorWay.su - 0.3b
Сколько как думаете кода в такой простой утилите?! 100-200-1000 строчек кода?! Ерунда все. Большая часть кода, без учёта того что генерит Delphi и среда и объявления переменных - это не больше 25 строк.
Сама утилита тут. В этой тулзе нам нужно создать форму, кинуть на нее - statusbar, edit, memo, одну кнопку и ieparser. Все комментарии отделены в тексте вот так - //. Продолжение под катом. далее GoogleSnippets - сырцы, разбор полетов
Выкладываю свежую версию доргена. Убраны старые баги, добавлены новые.
1. Сохрание карт формата bbcode.
2. "Удалить файлы после генерации" - удалялись файлы при каждой генерации, в не зависимости от настроек.
3. Пробелы между текстом и кеем.
4. Разбивать текста абзацы, теперь нормально работает.
5 Перелинковка и "галка" на ее сохранение.
6. Ошибка "List of..."
Под катом ссылка на скачивание.
далее DoorWay.su - исправление багов
 После долгого затишья - предлагаю вам бесплатный дорген для работы с английскими и русскими тегами. Сделал вместе с командой рушного проекта DoorWay.SU.
Дорген умеет работать с русскими и английскими кеями. Перелинковывать внутренние и мордами. Заливать на ftp.
Есть пакетник.
Как всегда всё бесплатно. Мы вставляем только свой рекламный кусок. Новичкам самое оно. Под катом обо всем подробно и также сама программа.
далее Рушный и английский дорген для новичков - публичная бета
Новая тулза для страждующих. Нужно как минимум тем кто юзает фришники.
Идея очень проста. В одном поле куча данных формата - ftp;login;password.
Справа после нажатия одной кнопки получим те кто не работает или не верный логин/пароль.
Весь код и готовый exe под катом, так что спешим подписаться на rss и пофлеймить в комментах.
далее Mass ftp checker - массовая проверка фтп
Идя навстречу пожеланиям читателей, буду выкладывать код и делать к нему комментарии.
Но, вначале, хотел бы рассказать что же необходимо, чтобы компилировать и видоизменять исходники.
Это конечно же минимум, но и его будет достаточно.
- Вообщем для всех моих исходников нужен Delphi, желательно 7ая версия. Кто не привык пользоваться варезным дистрибутивом - может использовать FreePascal.
- Indy (в 7ке индейцы уже стоят, но желательно обновится).
- Очень часто требуется EmbeddedWB, с ним простые проекты делаются очень быстро.
- Конечно для всего нужен мозг, и не только для компиляции.
Как все ставить в картинках можно найти на "родных" сайтах, что я указал.
P.S. Следующим постом будет подробный разбор моей утилиты GoogleSnippets. Так что быстрее всем подписываться на rss чтобы ничего интересного не пропустить.
|
|
