前回までで、Scrapyでクロールしたページ情報をElasticSearchにインデックスするところまで設定したが、 実はあれだけだと、うまくESやkibana上で検索できなかったりする。 デフォルトではDynamic Mappingといって データをPOSTすれば勝手にフィールドなどを…

Vol1の続き。 今回はScrapyでクロールし、その結果をElasticSearchにインデックスするところまで。 Scrapyのプロジェクトを作成 $ scrapy startproject scrapy_tutorial ElasticSearchとの連携設定 $ cat scrapy_tutorial/settings.py ITEM_PIPELINES = { 's…

サイトリニューアルなどで、既存のサイト状況を把握するためのツールとして サイトをScrapyでクロールし、その統計情報などをElasticSearchにインデックスしてkibanaで解析することを思いついたので、やってみた。CentOS6へセットアップします ElasticSearch…