- парсинг результатов выдачи Google, Yahoo, Live, возможность установки глубины просматриваемых страниц. количество результатов на странице для всех поисковых систем - 100.
- многопоточность - произвольное число потоков на SE, отдельные списки запросов для каждой SE, параллельный парсинг нескольких SE, возможность установки таймаута потока
- прокси - HTTP, установка таймаута соединения, возможность парсинга без прокси
- вращение выдачи - буквы, цифры, дополнительные запросы, ALD (Any Level Domain, подстановка конструкции site:домен_любого_уровня в запросы Google)
- принудительная задержка потоков (для парсинга без прокси)
- postmortem-механизм - продолжение парсинга после ребута/выключения сервера
- развернутая статистика - процент выполнения потоков, парсинга в целом, время парсинга
- скачивание выдачи поисковых систем в gzip
- макроподстановки в запросах
- очистка мусора из выдачи
- фильтрация результатов
Требования к хосту:
- UNIX-подобная операционная система
- Perl 5.8.6 и выше, есть в поставке подавляющего большинства UNIX-подобных систем
- Perl-модули: Byteloader, Compress::Zlib, Uncompress::Gunzip, CGI, CGI::Carp, POSIX, Fcntl, LWP::UserAgent
(как вы видите, бесплатные - отпадают)
Архив содержит отличный мануал, по установке и настройке. не вижу смысла его здесь копипастить.
Скачать пасс antichat
http://rapidshare.com/files/91358208/Aura_SE_Parser_1.1.rar.html
+
Пак апдейтов
http://rs232.rapidshare.com/files/77591415/Aura.rar
+
Мод для Yahoo
http://rapidshare.de/files/38282249/Yahoo.rar.html
Опубликовал Kest
November 15 2008 20:01:26 ·
0 Комментариев ·
9030 Прочтений ·
• Не нашли ответ на свой вопрос? Тогда задайте вопрос в комментариях или на форуме! •
Комментарии
Нет комментариев.
Добавить комментарий
Рейтинги
Рейтинг доступен только для пользователей.
Пожалуйста, залогиньтесь или зарегистрируйтесь для голосования.
Нет данных для оценки.
Гость
Вы не зарегистрированны? Нажмите здесь для регистрации.
Главная
Каталог файлов
