論文の概要: What a Random Draw from the MCP Registry Contains, and What Tool-Use Benchmarks Contain Instead
- arxiv url: http://arxiv.org/abs/2609.10962v1
- Date: Thu, 10 Sep 2026 01:33:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.175744
- Title: What a Random Draw from the MCP Registry Contains, and What Tool-Use Benchmarks Contain Instead
- Title（参考訳）: MCPレジストリのランダムな図と、その代わりにツール使用ベンチマークが示すもの
- Abstract要約: 未確認の確率サンプルが実際に含んでいるものについて報告する。
24,135サーバのレジストリの国勢調査から400 npm/stdioサーバを公開して,それぞれをワイヤ越しに調査します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Studies of the Model Context Protocol (MCP) server ecosystem draw their samples in ways that quietly select for servers that work: reference sets, popularity lists, hand-curated frames, or pipelines that repair a server until it starts. We report what an unrepaired probability sample actually contains. From a 24,135-server registry census we draw 400 npm/stdio servers with a published seed and probe each one over the wire. Only 48.8% complete an initialize handshake, against 66.7% for a hand-curated frame measured with the same instrument, and the dominant failure is not missing credentials (13.3%) but servers that never start at all (37.5%). Among the 195 that do run, hard conformance is total: zero fatal JSON Schema violations across 2,766 advertised tools. Optional safety annotations are the real variance, and the tool-level omission rate on a random draw is 58.8% against 41.5% on the curated frame, so curation flatters this figure too. We then compare the tool descriptions these servers advertise against two tool-use benchmark corpora using one method held constant. Real MCP tools show 2.8% near-duplication at cosine 0.70, and all of it lies within single servers: cross-author near-duplication is 0.0% at every threshold tested. BFCL v4 shows 16.7%, of which 16.4 points lie between independently presented tasks. UltraTool shows 0.3%, cleaner than real tools, so this is a property of BFCL and not of synthetic corpora as a class. Separately, 68.8% of raw BFCL rows and 85.6% of raw UltraTool rows are exact name-plus-description repeats, against 0.4% for real MCP, so any statistic computed over these releases without global deduplication measures repetition rather than tools. All figures regenerate from released scripts and a published seed.
- Abstract（参考訳）: Model Context Protocol (MCP) サーバエコシステムの研究は、参照セット、人気リスト、手作業によるフレーム、サーバが起動するまでサーバを修復するパイプラインなど、動作するサーバをひそかに選択する方法でサンプルを描画する。
未確認の確率サンプルが実際に含んでいるものについて報告する。
24,135サーバのレジストリの国勢調査から400 npm/stdioサーバを公開して,それぞれをワイヤ越しに調査します。
48.8%のみが初期化ハンドシェイクを完了し、66.7%が同じ計器で測定された手計算フレームであり、主な失敗は認証情報(13.3%)を欠くのではなく、全く開始しないサーバ(37.5%)である。
実行中の195のうち、ハードコンフォーマンス(ハードコンフォーマンス)は、合計で2,766の広告ツールにまたがる致命的なJSONスキーマ違反をゼロにする。
オプションセーフティアノテーションは実際の分散であり、ランダムドローにおけるツールレベルの省略率は58.8%であり、キュレートされたフレームでは41.5%である。
次に、これらのサーバが宣伝するツール記述と2つのツール使用ベンチマークコーパスを比較し、1つのメソッドを定数で保持する。
実際のMCPツールはコサイン0.70で2.8%近い重複を示しており、全て単一のサーバ内にある。
BFCL v4は16.7%で、そのうち16.4ポイントは独立して提示されたタスクの間にある。
UltraToolは実際のツールよりも0.3%クリーンなので、これはBFCLの特性であり、クラスとしての合成コーパスではない。
別として、生のBFCL行の68.8%と生のUltraTool行の85.6%は正確に名前+記述の繰り返しであり、実際のMCPは0.4%である。
すべてのフィギュアは、リリースされたスクリプトと公開されたシードから再生されます。
関連論文リスト
- Same Name, Different Server: A Security Census of Silent Drift in the Model Context Protocol Ecosystem [0.0]
Model Context Protocol (MCP) は、大規模な言語モデルアプリケーションが外部ツールに到達するための共通インターフェースとなっている。
本稿は、その生態系の国勢調査を報告する。
論文 参考訳（メタデータ） (2026-09-12T19:47:32Z) - NovaFabric: Tamper-Evident, Replayable Evidence for Autonomous AI Agent Runs [0.0]
我々はNovaFabricを紹介し、監査グレードの実行証拠を作成している。
エージェントロジックを変更することなく実行中のエージェントを、ポータブルなRun Capsuleに記録する。
シードランは4モードのリプレイプロトコルで再実行可能である。
我々は8つの研究課題を測定範囲で評価した。
論文 参考訳（メタデータ） (2026-09-11T08:35:43Z) - Typed Federated Artifacts for the Agentic Web:Sharing Tool-Routing Knowledge Across Frozen,Heterogeneous LLM Agents [10.938897404868044]
オープンでネットワーク化されたWebにより、エージェントは複数のベンダーからフリーズモデルを実行し、履歴をプライベートに保ち、どのツールを呼び出すかを教え合うことができる。
我々は、フィールドごとのプライバシ、紛争解決、クロスラベル転送のために、型付きフェデレーション、スキーマ検証オブジェクトを適切に定義したフィールドで共有することを提案する。
論文 参考訳（メタデータ） (2026-09-06T20:15:09Z) - ADeptS-Bench: Measuring the Trustworthiness of Computer Use Agents Across Devices [48.36933831982682]
我々はADEPTS機能フレームワークを基盤とした信頼性ベンチマークであるADeptS-Benchを紹介する。
Safetyストリームは、視覚インターフェースに埋め込まれた脅威を伴うペアの良心/悪意のあるタスクを提供する。
曖昧さストリームは、意図が曖昧である場合、エージェントが明確化を求めるかどうかを評価する。
論文 参考訳（メタデータ） (2026-08-25T23:21:57Z) - Joint Optimization of Tool Creation and Use for Large Language Model Agents [69.07066297088187]
SMITH (-grounded Multi-task Iterative Tool Honing) は、単一のポリシー内でツールの作成とツールの使用を訓練する。
SMITHで訓練された4B Qwen3は、正確に検証された13の手続き的推論タスクで、保持されたタスクで平均79.8のマクロ平均精度に達する。
また、TabMWP-Hardでは40.4、ドメイン外のGQAでは42.6に到達している。
論文 参考訳（メタデータ） (2026-08-25T13:59:34Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳（メタデータ） (2026-08-14T19:22:50Z) - Real-Time Detection and Repair of LLM Agent Failures [0.0]
LLMエージェントは、エポゾドループの途中で失敗し、カスケードツールエラー、ゴールのドリフトオフ、結果の生成、あるいは静かに劣化したコンテンツを吸収する。
1ステップあたりのマイクロ秒のモニターを使用して、正常な実行のみをトレーニングすることで、観測可能なステップ単独で、どの程度の検出が達成できるのかを問う。
システムは1歩あたり200マイクロ秒で、審査員の呼び出しより3桁低い。
論文 参考訳（メタデータ） (2026-08-03T16:34:46Z) - DynamicMCPBench: A Trace-Grounded, Effect-Scored Benchmark for LLM Agents over Live MCP Servers [0.0]
固定データセットではなく再利用可能なフレームワークであるDynamicMCPBenchを紹介する。
現実的な目標を生成し、それぞれの目標を追求し、成功軌道を記録し、その軌跡をパスに依存しない効果チェックポイントに蒸留し、最終的な答えにはない、それらの効果を再現するかどうかをエージェントにスコアする。
最強のエージェントでさえタスクの約半分しか解決せず、タスクの31%はモデル無しで解決され、必要なツールチェーンが長くなるにつれて精度が低下する。
論文 参考訳（メタデータ） (2026-07-10T12:25:57Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - The Amazing Agent Race: Strong Tool Users, Weak Navigators [27.24330141815882]
LLMエージェントの既存のツール使用ベンチマークは圧倒的に線形である。
The Amazing Agent Race (AAR) は、有向非巡回グラフパズル(または「レッグ」)とフォークマージツールチェーンを特徴付けるベンチマークである。
シーケンシャル(800脚)とコンポジション(600DAG脚)の2つの変種にまたがる1,400のインスタンスをリリースする。
論文 参考訳（メタデータ） (2026-04-11T15:58:29Z) - MICE for CATs: Model-Internal Confidence Estimation for Calibrating Agents with Tools [54.63478102768333]
十分に校正されたモデル信頼度は、潜在的な行動の報酬に対するリスクを測るために使用することができる。
本稿では,ツール呼び出し時の信頼度を評価するために,モデル内信頼度推定器(MICE)の新たなクラスを提案する。
論文 参考訳（メタデータ） (2025-04-28T18:06:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。