#robotstxt

【合法スクレイピング】robots.txt・著作権法第30条の4・負荷制御・TTLキャッシュの設計基準

Webクローリング・データ収集を行うエンジニアが知っておくべき法規制、利用規約の遵守、サーバー負荷をかけないレート制御とTTLキャッシュ設計を解説します。