サイトクローラー開発

任意のサイトの情報を自動で取得するシステムを開発・提供しています。
クローラーは、HTMLフォーム、CookieセッションやJavaScriptなどを多用したサイトへも適用が可能です。また、ブラウザエンジンのエミュレートが必要な場合でも開発が可能です(WebKitのみ)。
大規模なサイトで高頻度な更新が必要とされるサイトでは、対象サイトへの低負荷なクロールを実現するスループット抑制機能と、分散クローリング機能を実装できます。