2024-06-09

2024/06/09

やったこと

Cloudflare Workers でスクレイピング
アニメみた

Cloudflare Workers でスクレイピング

個人用ダッシュボードのようなものを作りたい。表示するデータは、Cloudflare Workers を使って対象 Web ページをスクレイピングし、情報を D1 に貯め、Cloudflare Pages 上の Next.js アプリケーションから参照するような構成を考えていた。

しかし、Cloudflare Workers には 10ms の CPU time 制限があり、Playwright や Puppeteer などを使ってヘッドレス Chrome を起動しスクレイピングするには不足していることがわかった。課金すれば Unbound モデルの Workers を使うことで実現できたが、このために月5ドルは微妙だった。

そこで、スクレイピングは Cloud Functions で実行し、Cloudflare Workers はその Functions を叩いて結果をもらうだけにした。あくまでも CPU time の制限なので、Functions からのレスポンス待ちにかかる時間は対象外となる。だいぶ無駄ではあるが、今回の用途では速度は求めないので十分。これで安くスクレイピングが実現できた。

アニメみた

をみた。