WWWクライアントっちうても幅が広すぎるので、ここではいわゆる「Webスパイダー」の機能を実装するために使われるPerlモジュールの話題に限りますね。
まあ個人的には以下のように認識しておりますし、そういう使い分けをしています。
無論CPANには、これらのモジュール以外にも素晴らしいモジュールがたくさん登録されているので、使わない手は無いですね!
WWW::Mechanize
ある特定サイトに特化した自動化処理を実装するのに使う。
例:basic認証を通過して、その先のフォームに何かを入力してSubmitさせるとか。
Test::WWW::Mechanize
ある特定サイトを定常的に監視し、状態変化を検出するのに使う。
例:自宅鯖で運営しているwebサイトが死んでいないかを監視させたり。
Web::Scraper
サイト内の情報を定型化し、他の形式に変換する。
例:Yahoo!の天気予報の情報を抜き出して、JSONやらRSSやらxlsやらに変換。
本当はこれ以外にもあるのですが、良く使うのはこの辺ですね。
特にWeb::Scraperは楽チン。素晴らしいモジュールです。
0 件のコメント:
コメントを投稿