RejectKaigi「ニコニコ動画とスクレイピング地獄」資料公開

警告
DON'T TRY THIS AT YOUR PC
ニコニコ動画の負荷軽減にご協力を。ニコニコ動画を例にした、スクレイピング一般の話とご理解ください。ニコニコ動画の情報が欲しい場合は、
ニコニコチャート http://www.nicochart.jp/
みてれぅチャンネル http://idolmaster.miterew.com/
などのサイトを使うか、ニコニコ部で収集しているデータを参照してください。


http://docs.google.com/present/view?id=df425nj5_0cr8k2hfw

• ちょっとした追記

中の人の気持ちを読もう。書き換えるとリンク切れになるものが一番変わりにくく、次に、他の機能とのインターフェースが変わりにくく、見た目にしか影響しないものはぽんぽん変わる
頻繁にアクセスしすぎると、すぐにエラーが返ってくるので、負荷をかけすぎないように。
役に立つデータを取ろうとすると、どうしてもアクセス数がとても多くなる。ニコニコ動画はわりと寛容だが、サイトによってはさくっとアクセス制限されるかもしれない。
公開APIがあって、かつ、それが腐っているなら、スクレイピングするよりサイトに文句を付けよう。

• ほんの少ししか関係ないつぶやき

特定のタグに絞って、アップ時点から非公開だった動画が最初に公開に変更されたタイミングを取得する方法をエントリにまとめようと思っていたが、ニコニコ動画に毎日何万回もアクセスしないとできない方法なので、やめた。負荷が増えまくる……