論文の概要: Which Metadata Matters for LLM Tool Selection in MCP? Evidence from Controlled Factor-Level Interventions

• arxiv url: http://arxiv.org/abs/2610.14334v1
• Date: Fri, 09 Oct 2026 21:21:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.03409
• Title: Which Metadata Matters for LLM Tool Selection in MCP? Evidence from Controlled Factor-Level Interventions
• Title（参考訳）: MCPにおけるLCMツール選択のメタデータ : 因子レベル干渉による証拠
• Abstract要約: モデルコンテキストプロトコル(MCP)システムは、実装よりもメタデータからツールを選択する。 名前はツールが何をするのかを要約し、パラメータスキーマは、ツールが受け入れるフィールドと、どのように組織化されるかを指定する。 367,174のMPPツールのメタデータ分析により,機能的に類似したツール間でのスキーマ変動が顕著であることがわかった。
• 参考スコア（独自算出の注目度）: 11.730971205056228
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In Model Context Protocol (MCP) systems, LLMs select tools from metadata rather than from their implementations. Names and descriptions summarize what a tool does, while the parameter schema specifies the fields a tool accepts and how they are organized. Our analysis of metadata for 367,174 MCP tools reveals substantial schema variation among functionally similar tools. Many of these tools share names and similar descriptions but expose different parameter schemas. This raises a key question: can parameter-schema differences influence tool selection before any call is made? We study this question through controlled metadata interventions across five LLMs and five tasks. Each comparison changes exactly one metadata factor (server name, tool name, description, or parameter schema) while keeping the others fixed. We balance tool positions and use conditional logistic regression to estimate position-adjusted effects. We find that: (1) parameter-schema changes produce the largest and most consistent selection shifts among the tested interventions. Models tend to favor separate top-level parameters over grouped or composite forms. (2) Descriptions that explain parameters also tend to increase selection, while name effects are weaker and less consistent. (3) Targeted comparisons show that schema effects depend on the specific parameter names and on how the request represents the same information. When only one schema satisfies an explicit request requirement, all five models select the compatible tool despite position preferences. These results show that parameter schemas influence not only how tools are called, but also whether they are selected. For MCP developers and evaluators, schema design and tool ordering can therefore affect which implementation is invoked even when functionality is unchanged.
• Abstract（参考訳）: Model Context Protocol(MCP)システムでは、LCMは実装からではなくメタデータからツールを選択する。 名前と記述は、ツールが何をするかを要約し、パラメータスキーマは、ツールが受け入れるフィールドと、どのように組織化されるかを指定する。 367,174のMPPツールのメタデータ分析により,機能的に類似したツール間でのスキーマ変動が顕著であることがわかった。 これらのツールの多くは名前や類似した記述を共有しているが、異なるパラメータスキーマを公開している。 パラメータとスキーマの違いは、呼び出しが行われる前にツールの選択に影響を与えるか? 本研究では,5つのLCMと5つのタスクにまたがる制御されたメタデータの介入を通して,この問題を考察する。 各比較は、1つのメタデータファクタ(サーバ名、ツール名、説明、パラメータスキーマ)を正確に変更し、他を固定します。 ツールの位置と条件付きロジスティック回帰を用いて位置調整効果を推定する。 1)パラメータスキーマの変化は、テストされた介入の中で最大かつ最も一貫した選択シフトを生み出す。 モデルは、グループ化されたまたは複合的な形式よりも、上位レベルのパラメータを分離する傾向にある。 2) パラメータを説明する記述は選択を増加させる傾向があり、名前効果は弱く一貫性が低い。 (3) ターゲット比較では、スキーマ効果は特定のパラメータ名と要求がどのように同じ情報を表現しているかに依存している。 1つのスキーマだけが明示的な要求要件を満たす場合、すべての5つのモデルが、位置の好みに関わらず、互換性のあるツールを選択する。 これらの結果は、パラメータスキーマがツールの呼び出し方法だけでなく、選択されるかどうかにも影響を及ぼすことを示している。 MCP開発者や評価者にとって、スキーマ設計とツールの順序付けは、機能が変更されてもどの実装が呼び出されるかに影響を与える可能性がある。

関連論文リスト

• Action-Space Shaping for LLM Agents: Measuring and Mitigating Tool-Schema Bias [21.179051569465578]
  大きな言語モデル(LLM)は、固定されたツールスキーマが与えられたとき、ツール使用エージェントタスクに強いパフォーマンスを示しています。 しかし、ツールスキーマはエージェントのアクション空間ではない。 現在のエージェントはそうではないことがよく示され、それはスキーマバイアスと呼ばれる現象である。
  論文  参考訳（メタデータ） (2026-09-28T11:52:43Z)
• JTPRO: A Joint Tool-Prompt Reflective Optimization Framework for Language Agents [34.99316717979429]
  JTPRO(Joint Tool-Promptive Optimization)は,Trace-20%設定におけるツール・プロンプティブ最適化を改善するためのフレームワークである。 ツール選択精度(TSA)、スロット充足精度(SFA)、総合成功率(OSR)(正しいツール+正しいスロット+正しい値)の3つの指標を用いて、マルチツールベンチマーク間でJTPROを評価した。
  論文  参考訳（メタデータ） (2026-04-20T05:37:43Z)
• TRAJECT-Bench:A Trajectory-Aware Benchmark for Evaluating Agentic Tool Use [74.47746287181383]
  大規模言語モデル(LLM)ベースのエージェントは、現実のタスクを完了するためのツールの使用にますます依存している。 LLMのツール使用能力を総合的に評価するためのトラジェクトリ対応ベンチマークであるTRAJECT-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-10-06T07:30:25Z)
• MCPToolBench++: A Large Scale AI Agent Model Context Protocol MCP Tool Use Benchmark [6.470909719300937]
  Model Context Protocol(MCP)は、AI Agentにコンテキストを供給する標準化された方法を提供する。 LLMとAI AgentsのMPPツール使用能力の評価にはいくつかの問題がある。 大規模マルチドメインAIエージェントツールのベンチマークであるMPPToolBench++を提案する。
  論文  参考訳（メタデータ） (2025-08-11T03:16:02Z)
• Schema as Parameterized Tools for Universal Information Extraction [27.4621163733051]
  ユニバーサル情報抽出(UIE)は、主に大言語モデル(LLM)を用いた抽出生成手法を用いる。 構造化IEツール(SPT)と呼ばれる適応型テキスト・構造生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-02T03:12:44Z)
• Advancing and Benchmarking Personalized Tool Invocation for LLMs [66.39214525683425]
  パーソナライズされたツール呼び出しの概念を導入し、ツールの優先度とプロファイルに依存したクエリという2つの重要なタスクを定義します。 これらの課題に対処するために、パーソナライズされたツール呼び出し用に設計されたデータ合成フレームワークであるPToolを提案する。 パーソナライズされたツール呼び出しを評価するための最初のベンチマークである textbfPTBench を構築した。
  論文  参考訳（メタデータ） (2025-05-07T02:25:20Z)
• Meta-Reasoning Improves Tool Use in Large Language Models [10.193264105560864]
  本稿では,タスクを最初に理由付け,候補ツールを出力する2段階システムであるTECTON(Meta-reasONing)によるツール選択を提案する。 TECTONは、様々な数学推論データセットにおいて、分布内と分布外の両方において、実質的なゲインをもたらす。
  論文  参考訳（メタデータ） (2024-11-07T08:48:33Z)
• MetaTool Benchmark for Large Language Models: Deciding Whether to Use Tools and Which to Use [79.87054552116443]
  大規模言語モデル(LLM)は、その印象的な自然言語処理(NLP)能力のために大きな注目を集めている。 このベンチマークは、LLMがツールの使用意識を持ち、ツールを正しく選択できるかどうかを評価するためのものだ。 8つの人気のあるLCMを巻き込んだ実験を行い、その大半は依然として効果的にツールを選択するのに苦労していることがわかった。
  論文  参考訳（メタデータ） (2023-10-04T19:39:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。