カワダオンラインでEasy Scraperが正常に動作しない場合の代替案

ども、まじめです。

先日ユーザー様から「カワダオンラインでEasy Scraperが次のページを読み込まない」とご指摘を受けたので、検証してみると、確かに「アイテムをもっと読み込む操作」で「次のページに移動するためのリンクをクリックしてください」を設定しても正常に動作しない事を確認しました。

僕はEasy Scraperの開発者ではないので、プログラムの内部的な検証はできないのですが、「リストをスクレイプ」から出力されたファイルを見て、ある代替案を思いついたので、ご紹介します。

カワダオンラインの一覧ページには必要な全ての情報がそろっている

通常の卸やショップの商品一覧ページには、JANコードの記載などが無い為、商品個別ページにアクセスして、それらの情報を抽出するんですが、なんと親切な事にカワダオンラインでは一覧ページに必要な全ての情報が網羅されています。（すばらしい。）

一番時間がかかり、サーバーにも負荷をかけてしまう個別ページへのアクセスが必要ないんです。Easy Scraperでの「詳細をスクレイプ」の必要もありません。

そんな訳で、「詳細をスクレイプ」が不必要になった代わりに、「リストをスクレイプ」を手動で行って、複数のCSVファイルをExcelのパワークエリを使い結合してやるという、若干力技的な方法をご紹介します。

商品一覧ページを手動でスクレイプする

まずはカワダオンラインのスクレイピングしたいページを開きます。

今回は左メニューの「サンリオ特集」（466件）を例に説明します。

初期状態では一度に表示する商品数が「50」になっているので、少しでも楽をする為、「100」に変更しておきましょう。

そして「Easy Scraper」を起動すると、表示されている100件分の抽出が完了しています。（しっかりJANコードもありますね。）

「CSV」をクリックしてデータを保存しておきましょう。

そして、ここからが少し面倒なのですが、右上の「ｘ」をクリックしてEasy Scraperを一旦終了します。

終了したらカワダオンラインで次のページを表示します。

その後、Easy Scraperを再度起動して「CSV」をクリックしてデータをダウンロードする。

箇条書きで書くと以下の通り

ざっと見たところ左メニューのうち商品数が最大なのが、「ホビー・雑貨」で商品数6462件。

まぁ最大で65回繰り返す訳なんですが、思ったほど時間はかかりませんので、カワダオンラインせどりに興味のある方は是非試してみて下さい。

ダウンロードした複数のCSVファイルを結合する。

まず、「ダウンロード」ファルダに新しくファルダを作り、その中にEasy ScraperでダウンロードしたCSVファイル全てを移動します。（ダウンロードファルダの他のファイルをすべて消しておけば良さそうですが、隠しファイルなどを考慮して新しくフォルダを作っておきます。）

今回は「kawada」としました。

次にExcelの空白のブックを開きます。

「データ」タブ→「データの取得」→「ファイルから（F）」→「フォルダから（F）」の順にクリック。

さきほど作成しCSVファイルを保存したフォルダ（kawada）を選択し「開く」をクリック。

「結合」→「データの結合と変換」をクリック。

「OK」をクリック。

Power Query エディタが起動するので、「閉じて読み込む」→「閉じて次に読み込む」をクリック。

ダイアログで「テーブル」と「既存のワークシート」にチェックし「OK」をクリック。

結合されたExcelファイルが表示されるので、「名前を付けて保存」で適当な名前をつけて保存する。

これでJanperでリサーチ可能なExcelファイルが作成されました。

Janperでリサーチする

Janperの「Excelファイルからリサーチ」で以下のように設定してリサーチを実行して下さい。

• Excelファイルの種類　ー　問屋（自由形式）
• 問屋名　ー　カワダオンライン（任意）
• JANコード列　－　d
• 価格列　ー　i （税込）
• 商品ページURL列　ー　b
• その他の項目　ー　任意

まとめ

いかがでしたか？

少し手間はかかりますが、そんなに時間をかけなくてもカワダオンラインから商品情報を抽出する事ができます。

利益商品のあるなしは、実際にリサーチしてもらうとして、僕の感想を一つ言わせてもらうならば、

では、またー。