論文の概要: MCP-GRANITE Benchmark: GRANularity Interface TEsting for MCP-Based LLM Agents
- arxiv url: http://arxiv.org/abs/2609.24161v1
- Date: Mon, 21 Sep 2026 06:21:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.105288
- Title: MCP-GRANITE Benchmark: GRANularity Interface TEsting for MCP-Based LLM Agents
- Title（参考訳）: MCP-GRANITEベンチマーク:MPP系LLMエージェントの粒度インタフェーステスティング
- Abstract要約: 具象性がツールにどのように分解されるかは、エージェントが適切なツールを選択し、有効な引数を構築することができるかどうかに影響する。
ツールインタフェースの粒度をMPPベースのエージェントの制御変数として扱うオープンソースのベンチマークフレームワークであるMPP-GRANITEを提案する。
タスク補完,ツール選択F1,引数の正確性,レイテンシ,リソース使用量の測定値を用いて,8,748の試行において,ローカルにデプロイされた9つのモデル(268M-20.9Bパラメータ)を評価した。
- 参考スコア（独自算出の注目度）: 0.15999407512883507
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As LLM agents increasingly interact with external tools through standardized protocols such as MCP, tool-interface design becomes a critical yet underexplored factor. How funψtionality is decomposed into tools affects whether an agent can select the right tool and construct valid arguments. This choice is especially consequential at the edge, where resource constraints limit which models can run locally and scaling up is often not an option. We present MCP-GRANITE, an open-source extensible benchmark framework that treats tool-interface granularity as a controlled variable for MCP-based agents, evaluated under edge and IoT scenarios. It comprises 81 multi-step scenarios across 9 domains, instantiated at 4 granularity levels from fine-grained primitive tools to a single tool. We evaluate 9 locally deployed models (268M-20.9B parameters) across 8,748 trials using task completion, tool selection F1, argument accuracy, latency, and resource-usage metrics. Results show that a 4-tool interface offers the best trade-off, improving task completion by 16.4% over fine-grained primitives and 33.6% over a single monolithic tool, while nearly doubling argument accuracy. Model size is only weakly correlated with task completion and strongly with latency, while its association with argument accuracy is less robust, and a 3.2B model at the optimal granularity outperforms a 20.9B model at a mismatched one. These findings identify tool-interface granularity as a key design parameter for MCP-based agents.
- Abstract（参考訳）: LLMエージェントがMPPのような標準化されたプロトコルを介して外部ツールと対話するようになると、ツール・インタフェース設計は重要で未発見の要素となる。
具象性がツールにどのように分解されるかは、エージェントが適切なツールを選択し、有効な引数を構築することができるかどうかに影響する。
この選択は、特にエッジにおいて適切であり、リソース制約は、モデルがローカルで実行でき、スケールアップがオプションではないことを制限します。
ツールインタフェースの粒度をMPPベースのエージェントの制御変数として扱うオープンソースの拡張性ベンチマークフレームワークであるMPP-GRANITEについて,エッジおよびIoTシナリオで評価した。
9つのドメインにまたがる81のマルチステップシナリオで構成され、きめ細かいプリミティブツールから単一のツールまで、4つの粒度レベルでインスタンス化されている。
タスク補完,ツール選択F1,引数の正確性,レイテンシ,リソース使用量の測定値を用いて,8,748の試行において,ローカルにデプロイされた9つのモデル(268M-20.9Bパラメータ)を評価した。
結果は、4つのツールインターフェースが最良のトレードオフを提供し、細かいプリミティブよりも16.4%、単一のモノリシックツールよりも33.6%改善し、引数の正確性をほぼ倍増していることを示している。
モデルサイズはタスク完了と強く遅延に相関するが、引数の精度との相関性は低く、最適粒度の3.2Bモデルはミスマッチした20.9Bモデルより優れている。
これらの結果から,MSPをベースとしたエージェントの設計パラメータとしてツール・インタフェースの粒度が同定された。
関連論文リスト
- Joint Optimization of Tool Creation and Use for Large Language Model Agents [69.07066297088187]
SMITH (-grounded Multi-task Iterative Tool Honing) は、単一のポリシー内でツールの作成とツールの使用を訓練する。
SMITHで訓練された4B Qwen3は、正確に検証された13の手続き的推論タスクで、保持されたタスクで平均79.8のマクロ平均精度に達する。
また、TabMWP-Hardでは40.4、ドメイン外のGQAでは42.6に到達している。
論文 参考訳（メタデータ） (2026-08-25T13:59:34Z) - Hybrid Semantic Tool Discovery for Enterprise MCP Gateway: Architecture and Implementation [1.6774701449274187]
大規模言語モデル(LLM)エージェントは、事前訓練された知識以上の情報を検索し、推論するために外部ツールを起動する。
Model Context Protocol (MCP)はそのようなツールがどのようにサーフェスされるかを標準化し、プロキシMSPサーバは単一のエンドポイントの背後にある多くのバックエンドサーバを集約する。
SCOUTは、ツールの露出をコンテキスト選択問題として再設定し、現在のステップに関連するツールのみを注入する。
論文 参考訳（メタデータ） (2026-08-25T02:33:44Z) - HyperTool: Beyond Step-Wise Tool Calls for Tool-Augmented Agents [52.33697136670754]
textbfHyperToolは、実行可能なMPPスタイルのツールインターフェースで、ツール実行のモデル可視単位を変更する。
モデルはHyperToolをコードブロックで呼び出し、既存のツールを元のスキーマを通じて呼び出し、返却された値を操作し、中間結果をローカルに渡すことができる。
MCP-Universeでは、HyperToolは平均精度をQwen3-32Bで15.69%から35.29%、Qwen3-8Bで9.93%から33.33%に改善し、GPT-OSSとKimi-k2.5を平均で上回っている。
論文 参考訳（メタデータ） (2026-06-11T17:56:36Z) - Semantic Tool Discovery for Large Language Models: A Vector-Based Approach to MCP Tool Selection [1.2633421050364024]
ツールコール機能を備えた大規模言語モデル(LLM)は、外部ツール統合による複雑なタスクの実行において、顕著な可能性を示している。
Model Context Protocol (MCP) は LLM を様々なツールセットに接続するための標準化されたフレームワークとして登場した。
本稿では,ベクトルベース検索によるこれらの課題に対処するセマンティックツール発見アーキテクチャを提案する。
論文 参考訳（メタデータ） (2026-03-19T18:10:35Z) - MCP-Atlas: A Large-Scale Benchmark for Tool-Use Competency with Real MCP Servers [5.463884405989425]
ツール使用能力評価のための大規模ベンチマークであるMPP-Atlasを紹介する。
これには、現実的で多段階のオーケストレーションにおいて、ツール使用能力を評価するために設計された1000のタスクが含まれている。
モデルの最終回答で満たされた事実に基づく部分的信用を付与するクレームベースのルーブリックを使用してタスクをスコアする。
論文 参考訳（メタデータ） (2026-01-31T23:19:39Z) - OSWorld-MCP: Benchmarking MCP Tool Invocation In Computer-Use Agents [49.34040731113563]
我々は,コンピュータ利用エージェントのツール実行,GUI操作,意思決定能力を評価するための,最初の総合的かつ公正なベンチマークであるOSWorld-MCPを提案する。
厳密な手作業による検証は158の高品質なツールをもたらし、それぞれが正しい機能、実用性、汎用性を検証します。
OSWorld-MCPはマルチモーダルエージェントの理解を深め、複雑なツール支援環境でのパフォーマンスを評価するための新しい標準を設定している。
論文 参考訳（メタデータ） (2025-10-28T15:56:36Z) - MCPVerse: An Expansive, Real-World Benchmark for Agentic Tool Use [72.53177559476704]
我々はエージェントツールの使用を評価するための実世界のベンチマークであるMCPVerseを紹介する。
MCPVerseは550以上の実世界の実行可能なツールを統合し、140kトークンを超える前例のないアクション空間を作成する。
私たちは最先端のLSMを3つのモード(Oracle、Standard、Max-Scale)でベンチマークしました。
論文 参考訳（メタデータ） (2025-08-22T09:47:53Z) - Acting Less is Reasoning More! Teaching Model to Act Efficiently [87.28134636548705]
ツール統合推論は、タスクを解決するために外部ツールを呼び出す機能によって、大きな言語モデルを拡張します。
現在のアプローチは、外部ツールの使用効率や必要性を考慮せずに、最終的な正確性のためにのみ最適化されている。
最小限のツールコールで正確な回答をモデルに提示するフレームワークを提案する。
このアプローチでは,ツールコールを最大68.3%削減し,ツールの生産性を最大215.4%向上すると同時に,同等の回答精度を維持している。
論文 参考訳（メタデータ） (2025-04-21T05:40:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。