論文の概要: Governing Enterprise AI Traffic at Scale: Design and Operation of a Policy-Driven, Multi-Vendor LLM Gateway on Envoy
- arxiv url: http://arxiv.org/abs/2610.35509v1
- Date: Mon, 26 Oct 2026 14:33:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:14.031021
- Title: Governing Enterprise AI Traffic at Scale: Design and Operation of a Policy-Driven, Multi-Vendor LLM Gateway on Envoy
- Title（参考訳）: エンタープライズAIトラフィックを大規模に管理する - Envoyによるポリシ駆動型マルチベンダLDMゲートウェイの設計と運用
- Abstract要約: PayPalにおけるCosmos LLM Gatewayの設計と運用について述べる。
ゲートウェイは12,000人以上の開発者と数百のビジネスユースケースに対応している。
99.999%で100モデル以上のトークンを1日に約200億枚処理している。
- 参考スコア（独自算出の注目度）: 0.029316801942271303
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large organizations consume large language models (LLMs) from several vendors at once, each with its own API dialect, credential model, streaming protocol and pricing. Integrated directly, this heterogeneity yields credential sprawl, format lock-in, unbounded spend and inconsistent governance. We present the design and production operation of the Cosmos LLM Gateway, the governed entry point for enterprise LLM traffic at PayPal. Built on Envoy, it splits work by latency profile: I/O-bound control decisions (authentication, credential brokering, policy and budget evaluation) run in an out-of-process external-processing service, while wire-format translation, token metering and prompt-cache shaping run in-proxy as a Rust WebAssembly filter, so that, by default, streamed response body chunks never wait on an out-of-process call. Models, providers and prices are largely validated data rather than code. Governance is declarative policy evaluated by Open Policy Agent and managed through a control plane with role-scoped authoring, approvals, pilots, shadow-mode rollout, usage notifications and versioned policy bundles. For use cases that require it, a data-loss-prevention layer can block, redact or pseudonymize detected sensitive content before it reaches a provider. Spend scopes are views over per-model usage counters, so a new budget applies to spend already recorded in its window without migration. As of September 2026, the gateway serves more than 12,000 developers and hundreds of business use cases, handling roughly 200 billion tokens per day across more than 100 models at 99.999% availability to business. In a benchmark of the core request path against a synthetic upstream, it adds a median of 4 ms and a p99 of 11 ms of overhead at more than 2,200 requests per second on two 4-vCPU instances. We report the architecture, policy model, evaluation and lessons learned.
- Abstract（参考訳）: 大企業は、複数のベンダから一度に大きな言語モデル(LLM)を消費し、それぞれ独自のAPI方言、クレデンシャルモデル、ストリーミングプロトコル、価格設定を持っている。
この異質性は直接的に統合され、クレデンシャルスプロール、フォーマットロックイン、無制限の支出、一貫性のないガバナンスをもたらす。
PayPal におけるエンタープライズ LLM トラフィックの制御エントリポイントである Cosmos LLM Gateway の設計と運用について述べる。
Envoy上に構築されたI/Oバウンドコントロール決定(認証、クレデンシャルブローカ、ポリシ、予算評価)は、プロセス外処理サービスで実行され、ワイヤフォーマット変換、トークンメータリング、プロンプトキャッシュシェーピングは、Rust WebAssemblyフィルタとしてプロキシ内で実行されるため、デフォルトでは、ストリームされたレスポンスボディチャンクがプロセス外呼び出しを待つことはない。
モデル、プロバイダ、価格はコードではなく、ほぼ検証済みのデータです。
ガバナンスは、Open Policy Agentによって評価され、ロールスコープによるオーサリング、承認、パイロット、シャドウモードのロールアウト、使用通知、バージョン管理されたポリシバンドルを備えたコントロールプレーンを通じて管理される宣言型ポリシである。
それを必要とするユースケースでは、データロス防止層は、プロバイダに到達する前に検出された機密コンテンツをブロック、再実行、偽名化することができる。
スプレッドスコープはモデル単位の使用カウンタに対するビューなので、移行なしですでに記録されている時間に新たな予算が適用される。
2026年9月時点で、ゲートウェイは12,000人以上の開発者と数百のビジネスユースケースに対応しており、99.999%で100以上のモデルで1日に約200億のトークンを処理している。
合成アップストリームに対するコアリクエストパスのベンチマークでは、中央値が4ms、p99が11msのオーバーヘッドを2つの4-vCPUインスタンスで毎秒2200リクエスト以上追加する。
アーキテクチャ、ポリシーモデル、評価、教訓について報告する。
関連論文リスト
- SchemaFill: Efficient LLM Tool Calling via Slot-Parallel Speculative Decoding [84.95922754288466]
LLMFillは、自動回帰復号よりもエンドツーエンドのスループットを最大4.05$times$改善する。
GlaiveとBFCLでは、Fillは自動回帰デコーディングよりもエンドツーエンドのスループットを最大4.05$times$改善する。
論文 参考訳（メタデータ） (2026-10-05T12:22:34Z) - LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。
我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-26T12:13:05Z) - AiFlow: Token-Native Reactive Orchestration with Bounded Backpressure for Streaming LLM Applications [0.0]
本稿では,プロバイダデルタを型付きContextT>イベントに正規化する,トークンネイティブなリアクティブオーケストレーションモデルであるAiFlowを提案する。
AiFlowはプロバイダ側のTTFTを変更しないが、アプリケーションTTFPTを70.9-94.7%削減し、宣言されたバウンダリ内でランタイム所有キューの深さを維持する。
論文 参考訳（メタデータ） (2026-08-01T09:33:29Z) - A Control System, a Dataset, and a Recipe for Making Frozen LLM Agents Learn a Domain [2.452218069720666]
メタハーネス(Meta-Harness)とハイパーエージェント(HyperAgents)という2つの2026システムは、このハーネス自体を最適化したり、エージェントの提案者によって自己書き直したりできることを示している。
私たちは、より狭く、より制約のある立場をとります – ハーネスを小さな、固定された、人間に適応可能なアクションスペースとして扱い、オンラインでポリシーを学ぶのです。
我々は、この制御システムを、コンテキストアセンブラおよび最強の非適応ベースラインのソースとしてDSPyでインスタンス化する。
論文 参考訳（メタデータ） (2026-07-28T08:10:25Z) - ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents [61.184954205350984]
ClawArena-Teamは、41のマルチターン、マルチモーダル、マルチエージェントシナリオのベンチマークである。
全体的なスコア -- Subagent-Management Score (SMS) -- は、タスクの正しさを最小限のプライマリとモダリティのルーティング因子によって乗算する。
論文 参考訳（メタデータ） (2026-06-30T06:06:08Z) - Agent-as-a-Router: Agentic Model Routing for Coding Tasks [54.00153674547733]
Agent-as-a-router (AC)はC-A-Fループとしてルーティングを形式化する(Context->Action->FeedbackContext)
ACは、分配タスクに対する最小の累積後悔を達成し、配布外エージェントプログラミングタスクに一般化する。
論文 参考訳（メタデータ） (2026-06-22T06:37:31Z) - RLM-Cascade: Response-Level Speculative Decoding for Cost-Efficient LLM API Serving [6.030361843859939]
RLM-Cascadeは、APIコストを削減するために、レスポンスレベルで投機的デコーディングを適用するプロキシ層システムである。
RLM-Cascadeは125のプロダクション要求に対して88.8%のドラフト使用率を実現し、APIコストをOpusベースラインと比較して45.8%削減した。
RLM-CascadeはエンタープライズAIインフラストラクチャコンポーネントとして本番環境にデプロイされ、オープンソースとして公開されている。
論文 参考訳（メタデータ） (2026-06-22T04:27:45Z) - Rethinking LLMOps for Fraud and AML: Building a Compliance-Grade LLM Serving Stack [2.299706695317804]
不正かつアンチマネーロンダリング(AML)コンプライアンスは、大言語モデル(LLM)の高価値ドメインである
コンプライアンスプロンプトはプレフィックス重、スキーマ制約、エビデンスリッチであることが多い。
これらのプロパティはプレフィックスの再利用、KVキャッシュの効率、ランタイムチューニング、モデルオーケストレーション、出力バリデーションの1次システムの関心事を可能にする。
論文 参考訳（メタデータ） (2026-05-11T20:47:41Z) - IMMACULATE: A Practical LLM Auditing Framework via Verifiable Computation [49.796717294455796]
経済的なモチベーションのある逸脱を検出するための実践的な監査フレームワークIMMACULATEを提案する。
IMMACULATEは、検証可能な計算を用いて少数のリクエストを選択的に監査し、暗号オーバーヘッドを償却しながら強力な検出保証を達成する。
論文 参考訳（メタデータ） (2026-02-26T07:21:02Z) - CaveAgent: Transforming LLMs into Stateful Runtime Operators [31.548422546991915]
CaveAgentは"LLM-as-Text-Generator"から"LLM-as-as-Runtime"にパラダイムを変換するフレームワークです。
CaveAgentは小売業のタスクで10.5%の成功率の向上を実現し、マルチターンシナリオではトークン総消費を28.4%削減している。
論文 参考訳（メタデータ） (2026-01-04T15:32:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。