新しいblogに移行しました

新ブログ "All Yout Bugs Are Belong To Ass" に移行しました!

2008-10-09

[Perl]WWWクライアントなモジュールの使い分け

最近電波ばかり垂れ流していたので、たまにはPerlの話もしますよ><

WWWクライアントっちうても幅が広すぎるので、ここではいわゆる「Webスパイダー」の機能を実装するために使われるPerlモジュールの話題に限りますね。

まあ個人的には以下のように認識しておりますし、そういう使い分けをしています。
無論CPANには、これらのモジュール以外にも素晴らしいモジュールがたくさん登録されているので、使わない手は無いですね!

WWW::Mechanize


ある特定サイトに特化した自動化処理を実装するのに使う。
例:basic認証を通過して、その先のフォームに何かを入力してSubmitさせるとか。

Test::WWW::Mechanize


ある特定サイトを定常的に監視し、状態変化を検出するのに使う。
例:自宅鯖で運営しているwebサイトが死んでいないかを監視させたり。

Web::Scraper


サイト内の情報を定型化し、他の形式に変換する。
例:Yahoo!の天気予報の情報を抜き出して、JSONやらRSSやらxlsやらに変換。

本当はこれ以外にもあるのですが、良く使うのはこの辺ですね。
特にWeb::Scraperは楽チン。素晴らしいモジュールです。

0 件のコメント: