Cloudflare OS を社内運用する際のtips
公開日
開発生産性
こんにちは、vonxai合同会社の夏目です。
多くの読者におかれましてはClaudeやChatGPTを全社導入したり、社内向けの独自AIシステムを構築してみても結局Claude/ChatGPTのほうが良くね？となったりしているかと思われます。そんな折Cloudflareから Cloudflare OS なるOSSが発表され、にわかに盛り上がりを見せたものの、さっそくOSという命名に批判の声が出たり出なかったりしており、弊社もここに一丁噛みしてやろうと検証導入をしております。本日はそんな導入にあたって気をつけるべきポイントや、運用時の課題、現時点の使用感を書いていきたいと思います。
まず Cloudflare OS についてザックリ説明すると、社内の各種リソースと接続して社内向けのChatGPTみたいなのをホスティングできるOSSです。各種リソースの管理はGatekeeperとうい概念でまとめられており、デフォルトでGoogle、Confluence、Notionなどと接続することが可能です。注意点としては各ユーザーが自分のアカウントでOAuth接続することで、自分が参照できるリソースをコンテキストとして加える事ができるようになっています。そのため、自分が参照できないデータに関しては、OAuth接続したところでLLMに渡すことが出来ません。
Cloudflare OS 導入
導入方法は検索したりAIに聞けば答えてくれると思いますので、弊社における現状の構成を簡単に説明します。
- Cloudflare OS Starter
- Zero Trust
- AI Gateway
- Gatekeeper
- Slack
- GitHub(独自カスタマイズ)
- Notion(独自カスタマイズ)
といった感じで、 os.example.com の Workers としてホスティングし、社内ドメインのメールアドレスからのみアクセス出来るように制限して展開しています。Cloudflare OS は初回利用時にアカウント作成が必要ですが、Zero Trust を利用すると表示名とGatekeeperの認証設定のみに省略できるので便利です。
社内向けカスタマイズ
Gatekeeperは管理者が設定したもののみ利用可能です。GoogleやSlackは基本的に問題なく設定できたのですが、NotionはGuestアカウントで運用しているメンバーがOAuth接続できないという仕様だったため、API経由でNotion接続するGatekeeperを別途用意しました。またGitHubも開発メンバー以外のアカウントがなく、GitHub Apps からの認証経由で接続するGatekeeperを用意しました。
弊社は Google Cloud を開発基盤としているため、社内でのAI導入は基本Geminiからスタートするのですが、何故か Cloudflare OS の AI Gateway はGeminiと接続する場合「Google AI Studio」しか設定が用意されていなかったため、「Google Vertex AI(現Agent Platform)」と接続できるようpatchを用意しました。
運用時の注意点
実際に社内展開してみたところ、いくつかの問題が発覚しました。
429エラーが頻発
Agent Platform のGeminiが code 429, Resource exhausted. Please try again later といったエラーを返してきます。この場合、 Google Cloudが推奨している ようにリトライ処理を入れる必要があるので、 AI Gateway のSettingsにある「Retry Requests」を以下のように設定すれば基本的には問題なく動作します。
AI Gateway のリトライ設定画面
503エラーが頻発
また、Gatekeeper経由で多くのリソースを引っ張ってくるようなプロンプトを投げると頻繁に503が返ってくることが分かりました。
error code: 1019, code: 503, status: Service Unavailable
この場合、Retryボタンを何度か押せば処理が進んで正常なレスポンスが返ってくるのですが、かなり不便なため早めに対策をしたいところです。しかしこれは Cloudflare OS の処理上の問題なのでどうしようもなさそうです。
Cloudflare OS はOSSなので修正用のPRを出せればよいのですが、 CONTRIBUTING.md によると、軽微なPRのみ受け付けており、その他はdiscussionのみ受付というポリシーで、機能改善やバグ修正は基本受け付けないスタンスとなっています。昨今のセキュリティ事情も踏まえるとこのような形になっていくOSSは多いのかなと感じます。
AI Gatewayのエラー頻度の様子
こちらはWorkersのObservabilityで確認できるEventsのデータですが、かなりの頻度でエラーになっているのが確認できます。正直Retryを押すのがかなり面倒くさいです。
利用してみての感想とまとめ
気軽にGatekeeperを追加して社内の各種リソースを参照した社内AIツールが利用できるようになるのはかなり良いと感じました。社内でもそこそこ好評です。ただ使ってみると、NotionやGitHubはある程度データが取れていそうなのですが、GoogleやSlackのリソースはそこまで上手く取ってこれていないように感じます。また、ChatGPTやClaudeのDesktop版ほどRAG的な品質が良いように感じません。下位互換といった使用感でした。
それでも社内向けAIがここまで気軽にセットアップできるのは嬉しいので、試しに入れてみるには良いかなと感じます。
Cloudflare OS の開発は基本的にCloduflareの社内で行われるため、今後の発展が楽しみです。503のエラーも早く修正されることを願っています。
Webサービスや社内のセキュリティにお困りですか？ 弊社のサービス は、開発チームが抱える課題を解決し、生産性と幸福度を向上させるためのさまざまなソリューションを提供しています。ぜひお気軽にご相談ください！