論文の概要: Cost-Governed RAG: Unified Per-Tenant Cost Attribution Across Retrieval and Generation in Multi-Tenant LLM Systems
- arxiv url: http://arxiv.org/abs/2607.12188v1
- Date: Mon, 13 Jul 2026 22:16:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-15 17:08:29.975555
- Title: Cost-Governed RAG: Unified Per-Tenant Cost Attribution Across Retrieval and Generation in Multi-Tenant LLM Systems
- Title（参考訳）: コストGoverned RAG:マルチテナントLLMシステムにおける検索・生成における一元的一元的コスト属性
- Abstract要約: 我々は,コードブック公開ベクタインデックス(TurboVec)とマルチテナントLSMガバナンスゲートウェイを統合するアーキテクチャであるCost-Governed RAGを提案する。
このアーキテクチャは、TurboVecの決定論的でクローズドなメモリ公式を利用して、テナント毎の検索コストの計算を可能にする。
我々は,コードブックによる量子化により,共有コードブックの漏洩面を除去しつつ,テナント毎のコスト属性の決定が可能であることを示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Enterprise Retrieval-Augmented Generation (RAG) deployments face a critical governance gap: while LLM generation cost is metered per token, the retrieval layer - vector memory, similarity compute, and embedding API calls - remains an unattributed shared cost, enabling invisible cross-subsidization among tenants. We present Cost-Governed RAG, an architecture that integrates a codebook-oblivious vector index (TurboVec) with a multi-tenant LLM governance gateway, creating a unified observability stack where embedding, retrieval, and generation costs are jointly attributable per tenant. The architecture exploits TurboVec's deterministic, closed-form memory formula to enable near-exact per-tenant retrieval cost calculation - a property unavailable in graph-based indexes with non-linear memory overhead. Deployed on Snowpark Container Services within a cloud data platform's governance boundary, the system achieves 99.96% end-to-end cost attribution accuracy across 100 simulated tenants (10M vectors, log-normal size distribution) with telemetry overhead below 0.04% of query latency. The architecture reduces retrieval infrastructure cost by 3.1-9.0x compared to managed vector database services under the pricing assumptions detailed in Section IV. We formalize a three-layer cost model and demonstrate that codebook-oblivious quantization enables deterministic per-tenant cost attribution while also removing the shared-codebook leakage surface present in trained quantizers - the latter observation being exploratory and subject to the limitations described in Section VII.
- Abstract（参考訳）: Enterprise Retrieval-Augmented Generation (RAG)デプロイメントは、重要なガバナンスのギャップに直面している。 LLM生成コストはトークン毎に計測されているが、検索層 – ベクトルメモリ、類似性計算、埋め込みAPI呼び出し – は、共有されていないコストであり、テナント間の目に見えないクロスサブシデントを可能にする。
我々は,コードブック公開ベクタインデックス(TurboVec)とマルチテナントLSMガバナンスゲートウェイを統合したアーキテクチャであるCost-Governed RAGについて述べる。
このアーキテクチャは、TurboVecの決定論的でクローズドなメモリ公式を利用して、テナント毎の検索コストの計算を可能にする。
クラウドデータプラットフォームのガバナンスバウンダリ内のSnowpark Container Services上にデプロイされたこのシステムは、100のシミュレートされたテナント(10Mベクタ、ログ正規サイズ分散)に対して、99.96%のエンドツーエンドのコスト属性精度を達成し、テレメトリオーバーヘッドはクエリレイテンシの0.04%未満である。
このアーキテクチャは、第4節で詳述された価格設定の下で管理されたベクトルデータベースサービスと比較して、検索インフラのコストを3.1-9.0倍削減する。
我々は,3層のコストモデルを定式化し,コードブックによる量子化が,トレーニングされた量子化器に存在する共有コードブックの漏洩面を除去しつつ,決定論的かつテナント毎のコスト帰属を可能にすることを示す。
関連論文リスト
- OpWeave: Flexible Operator Disaggregation for Heterogeneous LLM Serving [26.097521524158484]
LLMサービスシステムは、推論をよりきめ細かい段階に分解する。
異種ODSのためのエンドツーエンドフレームワークであるOpWeaveを紹介します。
論文 参考訳（メタデータ） (2026-09-13T02:12:53Z) - Cost-Effective Repository Exploration for Agentic Issue Localization [0.2715382584771446]
我々は、この段階を低価格モデルに委譲できるかどうか検討する。
我々は、早期の候補発見、トップ3のゴールドファイルカバレッジ、厳格なファイルセット回復、エージェント時間、トークン使用率を測定する。
高品質なエクスプローラーは、ローカライゼーションの指標を越えてリードするが、かなり安い運用ポイントが出現する。
論文 参考訳（メタデータ） (2026-08-30T09:16:33Z) - ScaleSense: Cost-Intelligent Scaling Framework via Learned Resource Estimation in Alibaba AnalyticDB [59.708423132520515]
クラウドネイティブなサーバレスデータウェアハウスは、計算からストレージを分離することで、きめ細かい弾力性を達成する。
しかし、高度にヘテロジニアスなアドホッククエリに対する最適なリソース割り当てを決定することは、深刻な産業上の課題である。
プロアクティブでクエリレベルのリソーススケーリングフレームワークであるScaleSenseを提案する。
論文 参考訳（メタデータ） (2026-08-08T06:10:35Z) - MemoryCPT: An End-to-End Agent Memory Framework for Cost-Performance Trade-off [18.54644708989368]
ロングホライゾンLSMエージェントは、過剰な文脈を通さずに、大きな相互作用履歴から有用な証拠を回収するメモリシステムを必要とする。
オフラインメモリ構築とオンラインクエリ条件付きコンテキスト生成にまたがる、エンドツーエンドのトレーニング可能なエージェントメモリパイプラインであるMemoryCPTを提案する。
LoCoMoとLongMemEvalの実験は、MemoryCPTが評価ベースラインに対するコストパフォーマンスのトレードオフを改善することを示している。
論文 参考訳（メタデータ） (2026-08-05T13:37:08Z) - ComplianceGate: Classifier-Gated Multi-Tier LLM Routing for Inference in Regulated Industries [0.609170287691728]
ユーザクエリのPIIは、システムがそのデータが管轄区域を離れるべきかどうかを決定する前に、モデルエンドポイントに到達することができる。
本稿では,設計によるコンプライアンスを強制する分類器ゲート型ルーティングアーキテクチャを提案する。
単純なクエリは、ほんの少しのコストで、小さくて高速なモデルに到達します。
論文 参考訳（メタデータ） (2026-06-30T05:49:50Z) - GateMem: Benchmarking Memory Governance in Multi-Principal Shared-Memory Agents [61.50171793000712]
GateMemはマルチプリンシパル共有メモリエージェントのベンチマークである。
医療、事務、教育、家庭の領域にまたがる。
強力なユーティリティ、堅牢なアクセス制御、信頼性のある忘れを同時に実現する方法は存在しない。
論文 参考訳（メタデータ） (2026-06-17T09:06:15Z) - eMEM: A Hybrid Spatio-Temporal Memory System For Embodied Agents [1.8047694351309203]
物理環境で動作するエンボディエージェントのためのハイブリッドグラフベースメモリシステムeMEMを提案する。
eMEMはこのギャップをマルチインデックスアーキテクチャ(構造化ストレージ用ITE、近傍セマンティックサーチ用hlib、空間クエリ用Rツリー)で埋める。
また,eMEM-Bench v1は,メモリ評価のためのProcTHOR-10Kシーン上で構築したベンチマークである。
論文 参考訳（メタデータ） (2026-06-02T09:22:12Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - LLM Readiness Harness: Evaluation, Observability, and CI Gates for LLM/RAG Applications [51.56484100374058]
評価をデプロイメント決定ワークフローに変換するLLMおよびRAGアプリケーションのための準備性ハーネスを提案する。
このシステムは、最小限のAPI契約の下で、自動ベンチマーク、OpenTelemetryオブザーバビリティ、CI品質ゲートを組み合わせる。
チケットルーティングとBEIRタスクのハーネスを、完全なAzureマトリックスカバレッジで評価する。
論文 参考訳（メタデータ） (2026-03-28T18:03:32Z) - Real-Time AI Service Economy: A Framework for Agentic Computing Across the Continuum [10.35088918434398]
本稿では、DAGとしてモデル化されたサービス依存グラフの構造が、分散化された価格ベースのリソース割り当てが大規模に確実に機能するかどうかの主要な決定要因であることを示す。
本稿では、クロスドメインなサブグラフをリソーススライスに分割し、よりシンプルでよく構造化されたインターフェースを市場に提供するハイブリッド管理アーキテクチャを提案する。
論文 参考訳（メタデータ） (2026-03-05T19:14:54Z) - MemRec: Collaborative Memory-Augmented Agentic Recommender System [57.548438733740504]
我々はメモリ管理から推論をアーキテクチャ的に分離するフレームワークであるMemRecを提案する。
MemRecは動的コラボレーティブメモリグラフを管理する専用のLM_Memを導入した。
4つのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-01-13T18:51:16Z) - From HNSW to Information-Theoretic Binarization: Rethinking the Architecture of Scalable Vector Search [0.7804710977378487]
本稿では,支配的な"HNSW + float32 + cosine similarity"スタックのアーキテクチャ的制約を分析する。
最大情報二項化(MIB)に基づく代替情報理論アーキテクチャの導入と実証評価を行った。
その結果,完全精度のシステムに匹敵する検索品質を示すとともに,レイテンシを大幅に低減し,高い要求レートで一定のスループットを維持することができた。
論文 参考訳（メタデータ） (2025-12-16T23:24:37Z) - CLAUSE: Agentic Neuro-Symbolic Knowledge Graph Reasoning via Dynamic Learnable Context Engineering [47.77119771502664]
CLAUSEは,文脈構築を知識グラフ上の逐次決定プロセスとして扱うエージェント型3エージェントニューロシンボリックフレームワークである。
CLAUSEは提案したLagrangian-Constrained Multi-Agent Proximal Policy Optimization (LC-MAPPO)アルゴリズムを用いて、サブグラフアーキテクト、パスナビゲータ、コンテキストキュレーターの3つのエージェントを調整する。
HotpotQA、MetaQA、FactKG全体では、CLAUSEはより高いEM@1を得られると同時に、トークン予算が等しく低い場合のサブグラフの成長とエンドツーエンドのレイテンシを低減する。
論文 参考訳（メタデータ） (2025-09-25T11:43:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。