6月 032016
 

ネットショップクローリングツールは本来であれば、リンクごとの商品を行う目的です。しかし、ネット環境や収集先の事情によって、一時利用不可のケースが発生します。その場合、商品情報の収集が失敗になります。たとえば、farfetchサイトのデータ収集では、サイズ情報が収集できない問題が発見しました。

この問題を対応するために、本ツールはリトライ機能を追加しました。リトライとは、「特定のデータの一部は一定の条件に満たす場合、このデータが失敗データとみなし、もう一回データを収集を行うことです」。またユーザの要求に応じて、リトライの回数にも指定できます。

本機能の開発により、たとえば、商品のタイトル、在庫情報などのデータが含まない場合、この商品を再収集できます。利用者の手間なく高品質のデータを収集できるようになりました。