4月 222018
 

1.概要

ネットショップクローリングツールの「収集禁止URL管理機能」について説明する。本機能は当該ツールの収集対象を重複しないように、収集禁止URLのの管理機能である。

2.収集禁止URLの設定方法

以下2通りの方法がある。

1.ツールの「設定」ー>「収集禁止URL」を押して、収集禁止URLを手作業で設定する

この方法はすべてのユーザが利用可能となる。

収集禁止URL管理画面

①収集禁止URLの一覧を入力する。

複数のURLがある場合、一行に一つのURLを入れてください。URLの最大数は1000件です。

②コメントを入力する

上記URLをグループで管理するためのタイトルとなる。次のステップで、収集禁止URLの絞り込みで利用可能となる。コメントを入力しない場合、追加されるタイミングの時間をコメントにする。

③「保存」を押す

保存ボタンを押すと、上記のURLが保存され、即時に有効になり、追加したURLと一致するページは収集しないようになる。

2.すでに収集済みURLを自動的に入れる

この方法はカスタマイズ機能となる。カスタマイズ済みのユーザのみ利用可能となる。ユーザは特にURLの追加作業を行う必要がありません。注意事項は一つ、追加されるURLのコメント欄に保存された情報は「TaskID」となる。この情報はツールの「動作」ー>「動作設定」による確認及び変更可能となる。

3.収集禁止URLの確認及び絞り込み

収集禁止URL管理画面の下半分は収集禁止URLの管理画面となる。

下記赤い枠の部分の収集禁止URLの一覧です。各列の情報はURL、状態及びコメント情報となる。

青い枠部分は絞り込み機能設定エリアとなる。収集禁止URLが大量にある場合、絞り込み機能を用いてURLを管理することをお勧めする。

絞り機能の項目

①状態

状態とは、このURLが禁止になっているかどうか。追加されるURLは自動的に有効となっている。無効になっているURLは禁止リストに保存されるが、収集は可能である。状態を指定することでURLを絞り込みが可能となる。

②検索キー

URLもしくはコメントが検索キーを含むURLを絞り込むことが可能である。

4.収集禁止URLの操作

表示しているURLの一列目のチェックボックスをチェックすること、URLを選択し、URLの削除や一時無効にすることが可能である。具体的の操作は以下となる。

①逆選択

現在選択済みのURLと未選択URLの状態の入れ替えが可能である。

②無効

現在選択済みのURLをデータベースに削除にないままで収集禁止対象から除外する。無効にすることで、対象URLを再収集が可能となる。無効になっているURLは繰り返し収集が可能となる。

③有効

現在選択済みのURLを改めて収集禁止対象にする。

④削除

現在選択済みのURLをデータエースから削除し、収集禁止対象から除外する。この機能は戻すことができない。