論文の概要: Scalable LLM Agent Tool Access in the Cloud
- arxiv url: http://arxiv.org/abs/2607.15593v1
- Date: Fri, 17 Jul 2026 03:40:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-20 17:56:52.742635
- Title: Scalable LLM Agent Tool Access in the Cloud
- Title（参考訳）: クラウド上のスケーラブルなLLMエージェントツールアクセス
- Abstract要約: LLMエージェントは、外部システムに作用するツールコールにますます依存している。
Model Context Protocol (MCP)はすぐにデファクトインターフェースになった。
MCPサービスのためのクラウドスケールゲートウェイシステムを提案する。
- 参考スコア（独自算出の注目度）: 44.34047593756551
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM agents increasingly rely on tool calling to act on external systems, and the Model Context Protocol (MCP) has quickly become its de facto interface. Operating MCP at cloud scale, however, becomes difficult. On the tool provider side, legacy services are not directly callable through MCP; the rapid protocol development also creates ongoing compatibility cost. On the agent side, the number of accessible tool is limited by the LLM context window and inference overhead; mounting a large tool set increases token usage and inference latency and can reduce task success rate. Moreover, for stateful MCP backends with multiple replicas, preserving session affinity increases client-side complexity. We present a cloud-scale gateway system for MCP service. It breaks the direct-connect model on the data plane and offloads legacy service integration, consolidating incompatible MCP variants, access control, tool recommendation, and session-aware routing to the gateway. Hybrid retrieval sustains 98% Top-15 recall; it scales agent tool access to 3,000+ with high tool selection accuracy, and reduces tool selection time by $8.9\times$ and token usage by $23.8\times$, with low per-call overhead, stable under scale-out. Finally, we share the lessons learned from deploying the gateway system in production.
- Abstract（参考訳）: LLMエージェントはますます外部システムに作用するツールコールに依存しており、モデルコンテキストプロトコル(MCP)は急速にデファクトインターフェースになっている。
しかし、クラウドスケールでのMPPの運用は困難である。
ツールプロバイダ側では、レガシーサービスはMSPを直接呼び出すことはできない。
エージェント側では、LLMコンテキストウィンドウと推論オーバーヘッドによってアクセス可能なツールの数が制限される。
さらに、複数のレプリカを持つステートフルなMPPバックエンドでは、セッション親和性を保存することで、クライアント側の複雑さが増大する。
MCPサービスのためのクラウドスケールゲートウェイシステムを提案する。
データプレーン上の直接接続モデルを破り、レガシーサービス統合をオフロードし、互換性のないMPPの亜種、アクセス制御、ツールレコメンデーション、ゲートウェイへのセッション対応ルーティングを統合する。
ハイブリッド検索は98%のTop-15リコールを保ち、エージェントツールアクセスを3,000以上まで高いツール選択精度でスケールし、ツール選択時間を8.9\times$に、トークン使用量を23.8\times$に減らし、コール毎のオーバーヘッドが低く、スケールアウト時に安定する。
最後に、ゲートウェイシステムを本番環境にデプロイすることから学んだ教訓を共有します。
関連論文リスト
- Hybrid Semantic Tool Discovery for Enterprise MCP Gateway: Architecture and Implementation [1.6774701449274187]
大規模言語モデル(LLM)エージェントは、事前訓練された知識以上の情報を検索し、推論するために外部ツールを起動する。
Model Context Protocol (MCP)はそのようなツールがどのようにサーフェスされるかを標準化し、プロキシMSPサーバは単一のエンドポイントの背後にある多くのバックエンドサーバを集約する。
SCOUTは、ツールの露出をコンテキスト選択問題として再設定し、現在のステップに関連するツールのみを注入する。
論文 参考訳（メタデータ） (2026-08-25T02:33:44Z) - HyperTool: Beyond Step-Wise Tool Calls for Tool-Augmented Agents [52.33697136670754]
textbfHyperToolは、実行可能なMPPスタイルのツールインターフェースで、ツール実行のモデル可視単位を変更する。
モデルはHyperToolをコードブロックで呼び出し、既存のツールを元のスキーマを通じて呼び出し、返却された値を操作し、中間結果をローカルに渡すことができる。
MCP-Universeでは、HyperToolは平均精度をQwen3-32Bで15.69%から35.29%、Qwen3-8Bで9.93%から33.33%に改善し、GPT-OSSとKimi-k2.5を平均で上回っている。
論文 参考訳（メタデータ） (2026-06-11T17:56:36Z) - Speculative Interaction Agents: Building Real-Time Agents with Asynchronous I/O and Speculative Tool Calling [64.40340291543971]
我々は,小さなエッジスケールモデルとのリアルタイムインタラクションを実現するための投機的インタラクションエージェントを提案する。
また、ストリーミング入力と非同期応答を処理するためにモデルを適応させるクロックベースのトレーニング手法を提案する。
このアプローチは、Qwen2.5-3B-InstructとLlama-3.2-3B-Instructモデルを複数のツール呼び出しベンチマークで1.6-2.2$times$ Speedupを提供する。
論文 参考訳（メタデータ） (2026-05-13T11:20:52Z) - Tool Attention Is All You Need: Dynamic Tool Gating and Lazy Schema Loading for Eliminating the MCP/Tools Tax in Scalable Agentic Workflows [2.2228811750157482]
私たちは、"Attention Is All You Need"パラダイムを一般化するスケーラブルな層メカニズムであるTool Attentionを紹介します。
シミュレーションした120toolの6サーバベンチマークで、サーバ単位のトークン数を実際のMPPデプロイメントの公開監査に校正する。
ツールアテンションはターン当たりのツールトークンを95.0%(47.3k ->2.4k)に減らし、効果的なコンテキスト利用(トークン比の量)を24%から91%に引き上げる。
論文 参考訳（メタデータ） (2026-04-23T16:10:00Z) - Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs [62.17306142810532]
ヘテロジニアスLSMクラスタ上で動作するマルチエージェントワークフローの予測スケジューリングシステムであるChimeraを提案する。
Chimeは最高のレイテンシをトレースし、エンドツーエンドのレイテンシを1.2-2.4$times$で削減し、タスクパフォーマンスを平均8.0-9.5ポイント改善する。
論文 参考訳（メタデータ） (2026-03-23T17:01:42Z) - ToolRosetta: Bridging Open-Source Repositories and Large Language Model Agents through Automated Tool Standardization [51.92237664440418]
ToolRosettaは、オープンソースのコードリポジトリとAPIを自動的にMPP互換のツールに変換するフレームワークである。
ユーザタスクが与えられた場合、ToolRosettaはツールチェーンを自律的に計画し、関連するツールチェーンを特定し、実行可能なMPPサービスに変換する。
論文 参考訳（メタデータ） (2026-03-10T07:19:43Z) - Tool-to-Agent Retrieval: Bridging Tools and Agents for Scalable LLM Multi-Agent Systems [1.2092584191043323]
ツールと親エージェントの両方を共有ベクトル空間に埋め込む統合フレームワークであるTool-to-Agent Retrievalを紹介する。
ツールの機能を明示的に表現し,メタデータをエージェントレベルにトラバースすることで,ツールからエージェントレベルの詳細な検索が可能になる。
論文 参考訳（メタデータ） (2025-11-03T18:58:28Z) - Small Language Models for Agentic Systems: A Survey of Architectures, Capabilities, and Deployment Trade offs [0.10742675209112619]
小型言語モデル(SLM: 1-12B パラム、時には 20B まで)は十分であり、エージェント処理に優れていることが多い。
オープンおよびプロプライエタリなSLMにまたがって最近のエビデンスを合成し、近代的な評価に結び付ける。
本研究では,不確実性を考慮したルーティングと検証器カスケードを用いたSLMフォールバックシステムを定式化し,実生産目標を反映したエンジニアリングメトリクスを提案する。
論文 参考訳（メタデータ） (2025-10-04T15:48:04Z) - LiveMCPBench: Can Agents Navigate an Ocean of MCP Tools? [50.60770039016318]
モデルコンテキストプロトコル(MCP)エージェントをベンチマークする最初の総合ベンチマークであるLiveMCPBenchを紹介する。
LiveMCPBenchは、MPPエコシステムに根ざした95の現実世界のタスクで構成されている。
評価は10の先行モデルを対象としており、最高の性能のモデルが78.95%の成功率に達した。
論文 参考訳（メタデータ） (2025-08-03T14:36:42Z) - OnPrem.LLM: A Privacy-Conscious Document Intelligence Toolkit [2.132096006921048]
我々は,大規模言語モデル(LLM)を機密性の高い非公開データに適用するためのPythonベースのツールキットであるOnPrem$.$LLMを提案する。
このシステムはプライバシ保護のユースケース用に設計されており、ドキュメント処理とストレージのためのプレビルドパイプラインを提供する。
論文 参考訳（メタデータ） (2025-05-12T15:36:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。