クラウド収集とは、Octoparseで作成したタスクをローカルPCではなくOctoparseのクラウドサーバーで実行し、Webデータを収集する仕組みです。PCを起動したままにせず、日次の価格監視や複数サイトの定期取得を運用できます。
クラウド収集・スケジュール実行は スタンダードプラン以上 で利用できます。
実際の実行時間や取得結果は、対象サイトの構造・応答状況・タスク設定によって異なります。
タスクをOctoparseのクラウドサーバーで実行することで、ローカル端末の稼働状況に左右されにくい収集体制を構築できます。定期実行、複数タスクの運用、完了後の自動エクスポートまでをつなげられます。
クラウド収集の実行中は、ローカルPCでOctoparseを起動し続ける必要がありません。長時間の収集でも、担当者の端末をほかの業務に使えます。
PCの電源や社内ネットワークに依存せず、設定したタスクをOctoparseのクラウド環境で実行できます。
分・時間・日・週・月単位でスケジュールを設定し、価格や店舗情報などの変化を継続的に追跡できます。
対応プランの実行枠やクラウドサーバー数に合わせて、対象サイト別のタスクを並行して運用できます。
クラウド収集では、ローカルPCのIPではなくOctoparseのクラウドIPを使用します。IPはサブタスクごとにローテーションし、次の実行では新しいIPがランダムに再割り当てされるため、ローカルIPにアクセスが集中して制限を受けるリスクを抑えられます。
サブスクリプションに含まれるクラウド実行
スタンダードプラン以上では、クラウド収集を実行時間や取得件数ごとの従量課金ではなく、月額または年額のサブスクリプションに含まれる機能として利用できます。PCを稼働させず、契約期間中は月を通した継続運用が可能です。
利用できるクラウドサーバー数・同時実行数・タスク数などはプランによって異なります。テンプレートなど一部サービスには別料金が設定される場合があります。
タスクの準備、実行環境の設定、クラウド収集スケジュールの登録、データエクスポートまで、クラウド収集を始める流れを4つのステップで確認できます。
取得項目やページ操作を設定してカスタムタスクを作成する方法と、用意済みのテンプレートからタスクを立ち上げる方法があります。
対象URLを読み込み、クリック、ページ送り、ログイン、取得項目などの操作を画面上で設定します。複雑なページや独自の収集条件にも対応できます。
対象サイトに対応するテンプレートを選び、キーワードや地域などのパラメータを入力して、すぐに収集を始められます。
作成したタスクは保存して再利用でき、次のステップでクラウド実行や定期スケジュールを設定できます。
カスタムタスクでは、実行前に「実行設定」を開き、内蔵ブラウザやクラウドサーバー群などの実行環境を調整できます。対象サイトに合わせて、複数の国・地域にあるクラウドサーバー群から実行環境を選択できます。また、増分収集を有効にすると、前回までに収集したURLと比較し、新しく追加されたページを効率よく取得できます。比較条件はURL全体、または指定したURLパラメーターから選択できます。
対象のタスクを選び、「スケジュール実行」メニューから「クラウド収集スケジュールを登録」を選択します。続いて実行頻度と開始時刻を設定すると、登録したスケジュールに沿ってクラウド上で収集を自動実行できます。
スケジュールを登録せず、その場で一度だけ実行する場合は、タスクの実行時に「クラウド収集」を選択します。収集処理はOctoparseのクラウドサーバー上で行われるため、ローカルPCを長時間占有せず、PCの電源を切った後もタスクを継続できます。
Octoparse CLIでは、コマンドからタスクを一度だけ起動する単発収集に加え、cronやCI/CD、社内のジョブスケジューラーに組み込んだ定期実行にも対応できます。実行タイミングをスケジューラー側で管理できるため、担当者が毎回クライアントアプリを開かずに、夜間バッチや定期更新を自動化できます。
取得したデータは、Excel、CSV、JSONなどのファイルとしてローカルへ直接エクスポートできます。さらに、Google Sheets、各種データベース、Google Drive、Dropbox、Amazon S3などのクラウドストレージにも出力できます。実行スケジュールと連動する自動エクスポートを設定すると、タスクの完了後に指定先へ自動で保存され、データをすぐに確認・共有して後続業務に利用できます。
利用できる出力先や自動エクスポート機能は、契約プランによって異なります。
実行スケジュールと自動エクスポートを組み合わせることで、定期収集から保存先への出力までを一つの流れとして自動化できます。
収集頻度、保守に使える時間、必要な拡張性によって適した方法は変わります。FlaskはPython処理の窓口を作る技術であり、VPSなどの実行基盤と保守は別途必要です。
公式APIで必要なデータと更新頻度を満たせる場合は、まずAPIの利用条件を確認してください。独自処理を細かく制御したい場合はPython、ノーコードで継続収集したい場合はOctoparseが候補になります。
同じ条件で繰り返し確認する仕事ほど、クラウド収集とスケジュール設定の効果を得やすくなります。
ローカル店舗情報の収集では、会社・店舗名、住所、電話番号、営業時間、カテゴリなどを地域・業種ごとに定期収集し、新規開店や掲載情報の変更を継続的に把握できます。営業リストの更新、出店調査、商圏分析などにも活用できます。
AmazonをはじめとするECサイトから、競合商品や自社取扱商品の価格、在庫、レビューなどを定期的に収集し、変化の把握や履歴データの蓄積に使えます。
公開ページに追加される記事、求人、物件などを同じ項目で継続的に取得し、社内の確認作業を整理できます。
対象サイトや更新頻度ごとにタスクを分け、週次・月次の集計や市場分析に使うデータを蓄積できます。
対応プランでは、タスク分割による並列実行や複数タスクの運用が可能です。端末性能に処理を集中させず、対象サイトや更新頻度ごとに実行を整理できます。ただし、クラウド環境だけで取得成功が保証されるわけではないため、実行結果を確認できる運用設計も重要です。
Webスクレイピングを行う際は、対象サイトの利用規約、robots.txt、個人情報、著作権、アクセス負荷を確認してください。
対応プランでは、Task Performance Analytics APIからタスクの実行回数、成功率、収集件数、リソース使用量などを日・週・月単位で取得できます。監視ツールや定期レポートに組み込むことで、複数タスクの状態を継続的に確認できます。
成功率や収集件数の急な低下は、対象サイトの構造やアクセス条件が変わった可能性を確認するきっかけになります。異常を検知したら実行ログと取得結果を確認し、必要に応じてタスクを調整します。
手元での分析、チーム共有、既存システムへの連携など、目的に合う方法を選べます。利用できる出力先や自動化機能はプランによって異なります。
表計算や社内共有で扱いやすい形式に出力します。
データ処理や別ツールへの受け渡しに使える形式です。
チームで確認・共有する表へつなげられます。
対応プランでは既存の業務フローへの連携も検討できます。
Google Drive、Dropbox、Amazon S3などへ出力し、共有や後続処理に利用できます。
まずは収集タスクを作成し、必要な頻度とデータ形式を整理しましょう。クラウド収集・スケジュール実行を使う場合は、対応プランをご確認ください。