↓ メインコンテンツへスキップ

Cloudflare WorkersのCronで国外アクセス禁止のRSSを取得する

·5291 文字·11 分
称徳寺 涼雨
著者
称徳寺 涼雨
プリズムスタァ

ClaudeにFable5.1が来たタイミングで個人用のRSSリーダーを作り、Cloudflare Workersで使い始めました。
ある日、登録したフィードのうち1つのニュースサイトだけが「取得エラー: HTTP 405」になっていました。
画面では登録・更新すると取得できるのに、自動取得では毎回失敗していました。

原因は、自動取得を担う「Cron Trigger」が日本国外のデータセンターで動いていて、そのサイトが国外からのアクセスを拒否していたことでした。
この記事では、原因を切り分けた手順と、実行場所を東京に寄せて解決した方法を書きます。
サーバーレスの定期実行でRSSを取りに行く構成なら、Cloudflare以外でも同じことが起こりうると思います。
実際、自作RSSリーダー作ったよの記事をググると、同じような問題を書いている人もいますね。

RSSリーダーの構成
#

作ったRSSリーダーは、Cloudflareのサービスだけで動いています。

  • Workers:Cloudflareのサーバーでプログラムを動かすサービスです。常時起動のサーバーではなく、リクエストが来るたびに起動します。
  • D1:Workersから使えるデータベースです。中身はSQLiteです。
  • Cron Trigger:Workerを決まった時刻に起動する仕組みで、このRSSリーダーでは1時間ごとにフィードを取得させています。
  • Service Binding:Worker同士をURLを使わずに直接呼び出す仕組みです。社内の内線電話のようなものです。

画面を担当するフロントエンドのWorkerと、RSSの取得やDB操作を担当するバックエンドのWorkerに分けています。
バックエンドは外部に公開せず、フロントエンドからService Bindingでだけ呼ばれます。

flowchart LR
  U[スマホ / PC] --> F[フロントエンド Worker]
  F -- Service Binding --> B[バックエンド Worker]
  C[Cron Trigger
1時間ごと] --> B B --> D[(D1)] B --> R[各サイトのRSS]

フィードの取得に失敗したときは、HTTPのステータスコードをフィードごとにD1へ記録し、画面にも表示しています。
今回の「HTTP 405」もこの記録から見つけました。

起きていたこと
#

問題のフィードは、登録した直後の取得では記事が20件入っていました。
しかし、その後の自動取得はすべて405エラーで失敗していました1。

RSSの取得はただのGETリクエストなので、メソッドが原因とは考えにくい状況です。
そこで、サイト側が何らかの条件でアクセスを拒否していると見当をつけ、その条件を探しました。

原因を切り分けた手順
#

D1に残った記録を見る
#

本番のD1に残っている最後の取得日時とエラーを確認しました。

エラーは HTTP 405 で、最後の取得日時は毎時0分の直後でした。
Cron Triggerは1時間ごと(毎時0分)に設定しているので、失敗しているのは自動取得だと考えられます。
一方、フィードの登録時(画面からの操作)の取得は成功していました。

Cloudflareのネットワークから取得する
#

「Cloudflareのサーバーから来たアクセスだから拒否されている」という可能性もあります。
これを確かめるため、wrangler dev --remote でテスト用のWorkerを動かしました。
このコマンドは手元ではなく、Cloudflareの本物のネットワーク上でコードを実行します。

export default {
  async fetch() {
    const res = await fetch("https://example.com/feed", {
      headers: { "User-Agent": "JisakuRSSReader/1.0" },
    });
    return new Response(`${res.status}`);
  },
};

結果は200でした。
レスポンスヘッダーから、このテストは東京のデータセンターで動いていたことも分かりました2。
Cloudflareからのアクセスというだけで拒否されているわけではありません。

世界各地から取得する
#

残った条件は「どこからアクセスしたか」です。
check-host.net を使うと、世界各地のサーバーから同じURLへ一斉にアクセスした結果を見られます。

15拠点のうち、オーストリア、ドイツ、アメリカ、香港など13拠点が 405 Not Allowed を返しました。
残りの2拠点はタイムアウトで、200を返した拠点は1つもありませんでした。
このサイトは日本国外からのアクセスに405を返していたわけです。

ここまでの結果を並べると、次のようになります。

アクセス元 結果
手元のPC(日本) 200
Cloudflareの東京のデータセンター 200
画面からの手動更新 成功
Cron Triggerによる自動取得 405
日本国外の各拠点 405

残る疑問は、なぜCron Triggerだけが国外から取りに行っていたのかです。

Workerはどこで動くのか
#

Cloudflareは世界300以上の都市にデータセンターを持っていて、Workerはそのどれかで動きます。
どこで動くかは、Workerの呼ばれ方によって決まります。

呼ばれ方 何も指定しない場合に動く場所
ブラウザからのリクエスト 利用者に一番近いデータセンター
Service Bindingでの呼び出し 呼び出し元と同じ場所
Cron Trigger 世界中の空いているデータセンター

Cron Triggerについて、公式ドキュメントには「空いているマシンで実行される」と書かれています3。
利用者のリクエストを起点にしない処理なので、特定の場所で動かす必要がないのだと思います。

画面からの手動更新は、日本にいる自分のブラウザから始まります。
フロントエンドもバックエンドも日本のデータセンターで動くので、サイトから見ると日本からのアクセスになります。
一方、Cron Triggerは海外のデータセンターで起動することがあり、その場合は国外からのアクセスとして拒否されます。

flowchart LR
  subgraph JP[日本のデータセンター]
    U[ブラウザ] --> F[フロントエンド] --> B1[バックエンド]
  end
  subgraph OV[海外のどこかのデータセンター]
    C[Cron Trigger] --> B2[バックエンド]
  end
  B1 -- 200 --> S[ニュースサイト]
  B2 -- 405 --> S

Placementで実行場所を東京に寄せる
#

Workersには、動かす場所を指定する Placement という機能があります。
本来は、データベースなどのサーバーが特定の地域にあるとき、その近くでWorkerを動かして通信を速くするための機能です。

場所はクラウドサービスのリージョン名で指定します。
東京に寄せるなら、wrangler.toml に次のように書きます。

[placement]
region = "aws:ap-northeast-1"

aws:ap-northeast-1 はAWSの東京リージョンの名前です。
AWSを使うわけではなく、「このリージョンに一番近いCloudflareのデータセンターで動かす」という目印として使います4。
Placementは無料プランでも使えます。

PlacementはCron Triggerに効かない
#

ところが、Placementを設定するだけでは解決しません。
ドキュメントには、Placementは fetchハンドラ の実行にしか影響しないと書かれています。

Workerのコードには、呼ばれ方ごとに入口となる関数があります。
HTTPリクエストで呼ばれたときは fetch()、Cron Triggerで呼ばれたときは scheduled() が実行されます。
fetchハンドラは前者のことで、Cron Triggerで動く scheduled() はPlacementの対象外です。

自分自身をService Bindingで呼ぶ
#

そこで、scheduled() では取得処理を行わず、Service Bindingで自分自身の fetch() を呼ぶようにしました。
呼ばれた側はfetchハンドラなので、Placementが効いて東京で動きます。

呼び出し先として、バックエンドに /internal/scheduled というルートを新しく追加します。
このパスは自分で決めた名前で、Cloudflareが用意している口ではありません。
/internal/ は「画面から使うAPIではなく内部用」という意図で付けただけなので、別の名前でも動作は同じです。

sequenceDiagram
  participant C as scheduled()
(海外のどこか) participant B as fetch()
(東京) participant S as ニュースサイト C->>B: Service Bindingで /internal/scheduled を呼ぶ B->>S: RSSを取得 S-->>B: 200 OK B-->>C: 完了

まず wrangler.toml に、自分自身を指すService Bindingを追加します。
service にはこのWorker自身の名前を書きます。

[[services]]
binding = "SELF"
service = "jisaku-backend"

コード側では、これまで scheduled() に書いていた処理を、fetchハンドラのルートに移します。
バックエンドはHonoで書いているので、ルートを1つ追加する形になりました。

type Bindings = {
  DB: D1Database;
  SELF: Fetcher;
};

const app = new Hono<{ Bindings: Bindings }>();

// 定期処理の本体(パスは自分で決めたもの)。fetchハンドラなのでPlacementが効き、東京で動く
app.post("/internal/scheduled", async (c) => {
  await syncDueFeeds(c.env.DB);
  await purgeOldReadArticles(c.env.DB);
  return c.json({ ok: true });
});

export default {
  fetch: app.fetch,

  // Cron Triggerからはここが呼ばれる。自分では処理せず、SELF経由でfetchハンドラを呼ぶ
  async scheduled(_event: ScheduledEvent, env: Bindings) {
    const res = await env.SELF.fetch("https://backend/internal/scheduled", { method: "POST" });
    if (!res.ok) {
      throw new Error(`scheduled run failed: HTTP ${res.status}`);
    }
  },
};

scheduled() で例外を投げておくと、CloudflareのダッシュボードにあるCron Triggerの実行履歴に失敗として残ります。

URLのホスト名はダミーでよい
#

https://backend/internal/scheduled は、インターネット上に実在するURLではありません。
Service Bindingの呼び出しは通常の fetch() と同じ形をしているので、URLとして正しい文字列を渡す必要があります。
しかしCloudflareはホスト名を見ずに、wrangler.toml で指定したWorkerへ直接届けます。
意味を持つのはパスの /internal/scheduled だけで、ホスト名は何を書いても同じ結果になります。

外部から呼ばれる心配
#

/internal/scheduled は、誰でも叩ける場所にあると困るルートです。
今回の構成では、次の2つの理由で外部からは呼べません。

  • バックエンドのWorkerには公開URLがありません(wrangler.toml の workers_dev = false)。
  • フロントエンドは /api/ から始まるパスだけをバックエンドへ転送します。

バックエンドを公開URLで運用している場合は、このルートに認証をかけるか、秘密のヘッダーを確認する処理が要ります。

修正後の結果
#

デプロイ後、次の毎時0分のCron Triggerで問題のフィードも取得できるようになり、画面のエラー表示が消えました。
記事ページのサムネイル画像も同じサイトから取得しているので、こちらも取れるようになりました。
手動更新はもともと日本で動いていたので、動作は変わりません。

まとめ
#

今回の問題は、Cloudflare Workersに限った話ではありません。
サーバーレスの定期実行や、海外リージョンのサーバーから取得する構成では、同じ理由で取得できないサイトがありえます。
国内向けのサービスを中心に購読するなら、定期実行がどこから取りに行くのかを最初に確認しておくと安心です。

原因の切り分けでは、取得エラーをフィードごとに記録して画面に出していたことが役立ちましたね。

参考リンク
#

  • Placement - Placementの設定方法と、fetchハンドラにしか効かないという制限
  • Cron Triggers - Cron Triggerが空いているマシンで実行されるという記述
  • Service bindings - Worker同士を直接呼び出す仕組み
  • AWS リージョン - ap-northeast-1(東京)などのリージョン名の一覧
  • check-host.net - 世界各地からURLへのアクセスを試せるサービス

【余談】自作のRSSリーダーを作った理由
#

RSSリーダーは「Feedly」と「Inoreader」を併用していましたが、Feedlyは安定性に欠けてました。
まあ落ちるのはしょうがないものの、落ちていてもFeedly statusは常に正常を返していて、その不誠実さが気になって気になって。
それでも「livedoor Reader」→「Googleリーダー」→「Feedly」と引き継ぎながら使ってきたことと、Feedly Star Openerという拡張にかなり依存していたこともあって、使い続けていました。

ただこのAI時代、「Inoreader Star Opener」のような拡張は片手間で作れるようになってしまいました。
実際作って数ヶ月使ってみたが特に問題もなかったので、Inoreaderに寄せてしまってもいいなと。
もし登録数の上限に達して課金することになったらInoreaderを選ぶだろうし、最初に手放すのはFeedlyだな、という状態でした。

まあRSSサービスはどこも儲けるのが大変そうですし、そもそも拡張ではなくRSSリーダー自体を個人で持っておけば、私が死ぬまでサービス終了にはならないので、作っておくかとなりました。
拡張不要で機能追加できるし。(開発モードでインストールしなくていいしね)


  1. 405 Method Not Allowed。たとえばGETしか受け付けないURLにPOSTしたときに返るのが本来の使い方です。アクセスを拒否する用途では403 Forbiddenを返すサイトが多いものの、何を返すかはサイトの設定次第です。 ↩︎

  2. Cloudflareを経由したレスポンスには cf-ray ヘッダーが付き、末尾にデータセンターの空港コードが入ります。今回は NRT(成田)でした。 ↩︎

  3. 原文は “Workers scheduled by Cron Triggers will run on underutilized machines” です。 ↩︎

  4. 指定できるのはAWS、GCP、Azureのリージョン名です。Cloudflare自身のデータセンター名で直接指定する方法はありません。 ↩︎