Навигация
Главная
Поиск
Форум
FAQ's
Ссылки
Карта сайта
Чат программистов

Статьи
-Delphi
-C/C++
-Turbo Pascal
-Assembler
-Java/JS
-PHP
-Perl
-DHTML
-Prolog
-GPSS
-Сайтостроительство
-CMS: PHP Fusion
-Инвестирование

Файлы
-Для программистов
-Компонеты для Delphi
-Исходники на Delphi
-Исходники на C/C++
-Книги по Delphi
-Книги по С/С++
-Книги по JAVA/JS
-Книги по Basic/VB/.NET
-Книги по PHP/MySQL
-Книги по Assembler
-PHP Fusion MOD'ы
-by Kest
Professional Download System
Реклама
Услуги

Автоматическое добавление статей на сайты на Wordpress, Joomla, DLE
Заказать продвижение сайта
Программа для рисования блок-схем
Инженерный калькулятор онлайн
Таблица сложения онлайн
Популярные статьи
OpenGL и Delphi... 65535
Форум на вашем ... 65535
HACK F.A.Q 65535
Гостевая книга ... 65535
Содержание сайт... 65535
Вызов хранимых ... 65535
Эмулятор микроп... 65535
Бип из системно... 59924
Invision Power ... 58205
Организация зап... 58119
Модуль Forms 56853
Приложение «Про... 56045
Создание отчето... 55668
Оператор выбора... 55533
Подключение Mic... 55387
ТЕХНОЛОГИИ ДОСТ... 51781
Программируемая... 48865
Пример работы с... 47629
Имитационное мо... 47406
21 ошибка прогр... 42391
Реклама
Сейчас на сайте
Гостей: 13
На сайте нет зарегистрированных пользователей

Пользователей: 13,012
новичок: Scam
Новости
Реклама
Выполняем курсовые и лабораторные по разным языкам программирования
Подробнее - курсовые и лабораторные на заказ
Delphi, Turbo Pascal, Assembler, C, C++, C#, Visual Basic, Java, GPSS, Prolog, 3D MAX, Компас 3D
Заказать программу для Windows Mobile, Symbian

Метод конечных разностей для интерполяции/экстраполяции на Delphi
База данных - рабочее место кассира на Delphi + бд Access
Двунаправленный динамический список на Delphi + Блок схемы

Реклама

Perl :: LWP + MIME или как получить WEB страницу по почте
В этой статье будет рассказано о том, как используя модули Perl LWP::UserAgent и MIME::Lite скачать HTML страницу и отослать ее в письме вместе со всеми вложенными изображениями.

Применяя изложенный метод я ежедневно получаю свежие анекдоты в свой почтовый ящик - ну лень мне каждый день лазить в Инет :-)

Для работы нам потребуются следующие модули (взять их можно на CPAN http://www.cpan.org)

  • LWP::UserAgent - класс пользовательских агентов WWW
  • MIME::Lite - облегченный MIME кодер/декодер
  • URI::URL - работа с URL
  • HTML::LinkExtor - получение списка всех URL в документе
  • Time::Local - преобразует компоненты полного времени в секунды

Для примера разберем, как выкачиваются все истории за день с сайта "Анекдоты из России" http://www.anekdot.ru.

Сайт постоянно обновляется, поэтому имеет смысл выкачивать все истории за вчера, там содержимое уже меняться не будет.

Адрес нужной нам страницы строится следующим образом :

сайт анекдотов/an/an год месяц/o год месяц день .html

причем от года берутся только 2 последние цифры, а месяц и день дополняется до 2 символов нулями слева, если это необходимо.

Таким образом, страница

http://www.anekdot.ru/an/an0206/o020629.html содержит все истории за 29 июня 2002 года.

Небольшое лирическое отступление для тех, кто только начал осваивать Perl.

Как скачать WEB страницу ?

require LWP::UserAgent; $ua = LWP::UserAgent->new;
$ua->proxy(['http', 'ftp'], 'адрес прокси-сервера');
$req = new HTTP::Request('GET' => 'страница для скачивания');
if ($res->is_success) { $page = $res->content; }

Как отправить письмо с прикрепленными файлами?

require MIME::Lite;

$msg = MIME::Lite->new(From =>'Ваш@Адрес.com',
                       To =>'Адрес@Получателя.com',
                       Subject =>'Тема сообщения',
                       Type => 'multipart/related');
$msg->attach(Type =>'text/plain; charset=windows-1251',
             Data => текст письма);
$msg->attach(Type => 'image/gif',
             Path => путь к файлу,
             Filename =>'img.gif');
$msg->send();

Рассмотрим по шагам работу программы.

  • Определяем URL документа
  • Скачиваем содержимое WEB страницы
  • Ищем и скачиваем все содержащиеся на странице изображения
  • Меняем ссылки относительно документа на их абсолютное значение
  • Присоединяем внешние файлы CSS,JavaScript
  • Кодируем все изображения и собираем MIME объект
  • Отсылаем получившееся письмо по электронной почте

Техническую реализацию скрипта я буду описывать схематически, если что будет не понятно - смотрите исходник.

C ANEKDOT.RU все истории за вчера. Вычисляем дату - полночь вчерашнего дня. Дополняем дату нулями слева.

$sutki=24*60*60;
($tek_day,$tek_month,$tek_year)=(localtime)[3,4,5];
$in1=timelocal(0,0,0,$tek_day,$tek_month,$tek_year);

$in2=$in1-$sutki;
($tek_day,$tek_month,$tek_year)=(localtime($in2))[3,4,5];
$tek_month++;
$tek_year+=1900;

if ($tek_month<10) {$tek_month="0".$tek_month}
if ($tek_day<10) {$tek_day="0".$tek_day;}
$an_year=substr($tek_year, 2, 2);

Страница для скачивания. Определяем адрес страницы согласно приведенного шаблона.

$url_page="http://www.anekdot.ru/an/an".$an_year.$tek_month.
          "/o".$an_year.$tek_month.$tek_day.".html";

Скачиваем содержимое страницы используя модуль LWP.

if ($url_page && $url_page=~/^(https?|ftp|file|nntp):\/\//) {
	my $req = new HTTP::Request('GET' => $url_page);
	my $res = $ua->request($req);
	$gabarit = $res->content;
	}

Подключаем внешний CSS и JavaScript. Тут все очень упрощенно показано, но разобраться можно - качаем файл со скриптами и подставляем его в нужное место HTML документа.

внешний CSS = '<style type="text/css">'."\n".
              '<!--'."\n". файл со стилями ."\n-->\n</style>\n";
документ HTML =~s/<link([^<>]*?)href="?([^\" ]*)"?([^>]*)>/ внешний CSS /iegmx;

внешний JS = '<script><!--'.
             "\n". файл со скриптами ."\n-->\n</script>\n";

документ HTML =~s/<script([^>]*)src="?([^\" ]*js)"?([^>]*)>/ внешний JS /iegmx;

Проходимся по всем ссылкам и меняем относительный путь на абсолютный. Необходимо это для того, чтобы нажав на ссылку в письме мы попадали именно туда, куда указывала ссылка с документа, размещенного в Инете.

my $analyseur = HTML::LinkExtor->new; $analyseur->parse($gabarit);
my @l = $analyseur->links;
foreach my $url (@l) {
	my $urlAbs = URI::WithBase->new($$url[2],$racinePage)->abs;
	chomp $urlAbs;

	if ( ($$url[0] eq 'a') && ($$url[1] eq 'href') &&
         ($$url[2]) && (($$url[2]!~m!^http://!) && ($$url[2]!~m!^mailto:!)) ) {
		$gabarit=~s/\s href= [\"']? $$url[2] [\"']?/ href="$urlAbs"/gimx;
		}
	}

Выбираем из документа все изображения, скачиваем картинку, определяем тип и возвращаем ее, закодированную в MIME.

if ( ((lc($$url[0]) eq 'img') || (lc($$url[0]) eq 'src')) ) {
	push(@mail, create_image_part($urlAbs));
	}

if (lc($ur)=~/gif$/) {$type="image/gif";}
elsif (lc($ur)=~/jpg$/) {$type = "image/jpg";}
else { $type = "application/x-shockwave-flash"; }

my $res2 = $ua->request(new HTTP::Request('GET' => $ur));
$buff1=$res2->content;

$file_name = substr($ur,rindex($ur,"/")+1,length($ur));
# кодируем очередную картинку
my $mail = new MIME::Lite(
	Data => $buff1,
	Encoding =>'base64',
	'Filename'=>$file_name);
$mail->attr('Content-type'=>$type);
$mail->attr('Content-Location'=>$ur);

Создаем MIME объект, указываем от кого и кому письмо, тему сообщения. Если на странице изображений нет - тип сообщения text/html, если есть картинки - multipart/related.

$mail = new MIME::Lite 'From' => 'somebody@somewhere.com',
                       'To' => $to_email,
                       'Subject' => $url_page,
                       'Data' => $html;
$mail->attr("Content-type" => $content_type);

if (@mail) {
	# присоеденяем каждую картинку
	$mail->replace("Type" => "multipart/related");
	foreach (@mail) {$mail->attach($_);}
	}

Отсылаем страницу по почте. Можно использовать SMTP или sendmail.

MIME::Lite->send('smtp', " адрес SMTP сервера ", Timeout=>60); $mail->send(); 

Выполнение программы.

Помещаем наш скрипт в каталог, откуда разрешено выполнение программ и делаем файл исполняемым

chmod 750 /usr/local/www/cgi-bin/html_on_email3.pl

Для того, чтобы окончательно все автоматизировать, вешаем наш скрипт на CRON. Для этого в файл /etc/crontab добавляем строчку

0 9 * * * root /usr/local/www/cgi-bin/html_on_email3.pl

и каждое утро в 9 часов читаем свежие анекдоты.

Для того, чтобы скрипт работал и в локальной сети необходимо установить соединение с Инетом и явно указать адреса прокси- и SMTP - сервера.

$ua->proxy(['http', 'ftp'], 'http://10.0.0.3:3128/');
MIME::Lite->send('smtp', "10.0.0.1", Timeout=>60);

В завершение хочу заметить, что все можно было написать и по-другому, более красиво. Но программа работает, а большего от нее и не требуется :-)

Опубликовал Kest October 31 2008 18:44:12 · 0 Комментариев · 4785 Прочтений · Для печати

• Не нашли ответ на свой вопрос? Тогда задайте вопрос в комментариях или на форуме! •


Комментарии
Нет комментариев.
Добавить комментарий
Имя:



smiley smiley smiley smiley smiley smiley smiley smiley smiley
Запретить смайлики в комментариях

Введите проверочный код:* =
Рейтинги
Рейтинг доступен только для пользователей.

Пожалуйста, залогиньтесь или зарегистрируйтесь для голосования.

Нет данных для оценки.
Гость
Имя

Пароль



Вы не зарегистрированны?
Нажмите здесь для регистрации.

Забыли пароль?
Запросите новый здесь.
Поделиться ссылкой
Фолловь меня в Твиттере!
Загрузки
Новые загрузки
iChat v.7.0 Final...
iComm v.6.1 - выв...
Visual Studio 200...
CodeGear RAD Stud...
Шаблон для новост...

Случайные загрузки
PDA версия сайта
Разработка распре...
GamesBase 3.0
Редактор текста (...
Упорядоченный дин...
FreeSMS v1.3.1
Андрей Боровский....
SysInfo [Исходник...
IMtale
WAP версия сайта
CoolHints2k
API (Применение A...
«Философия» прогр...
WebReg v1.3
Паскаль и Дельфи....
Изучаем Ассемблер
Архив значков
PDPcheck
Dealer
AJAX и PHP. разра...

Топ загрузок
Приложение Клие... 100289
Delphi 7 Enterp... 76679
Converter AMR<-... 20017
Borland C++Buil... 10589
GPSS World Stud... 9047
Borland Delphi ... 7572
Turbo Pascal fo... 6874
Visual Studio 2... 4889
Калькулятор [Ис... 3914
FreeSMS v1.3.1 3482
Случайные статьи
Увлекательные игры
Еще три возможност...
Реализация сеансов...
File not assigned
Чтобы узнать колич...
Многоязычность в РНР
Внедрение решенияК...
Требование синхрон...
Программирование: ...
Как проиндексирова...
Исключения и дестр...
Алгоритмы сжатия ...
Крупный шрифт не я...
Невозможность созд...
Гипотезы - подцели
Вычисление конечны...
Методы разработки ...
Средства отладки -...
Связывание — это с...
Добавление узлов в...
Всплывающие сообщения
Работа с нескольки...
Ревизор
Взаимодействие ада...
Основные управляющ...
Статистика



Друзья сайта
Программы, игры


Полезно
В какую объединенную сеть входит классовая сеть? Суммирование маршрутов Занимают ли таблицы память маршрутизатора?