論文の概要: LLM within MCP Matters: Measuring Inefficient Resource Utilization Driven by LLMs
- arxiv url: http://arxiv.org/abs/2608.08467v1
- Date: Sun, 09 Aug 2026 04:17:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.836684
- Title: LLM within MCP Matters: Measuring Inefficient Resource Utilization Driven by LLMs
- Title（参考訳）: MCP における LLM: LLM による非効率な資源利用の計測
- Abstract要約: Model Context Protocol (MCP)は、サーバが大規模言語モデル(LLM)にデータを公開する方法を標準化する。
一般的なサーバ設計では、識別子のルックアップテーブルなどの頻繁に使用される参照データをサーバ命令に直接埋め込む。
プロダクション法定情報MPPサーバ上で,24 LLMの54,000件の試験結果について報告する。
- 参考スコア（独自算出の注目度）: 6.657352531941857
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Model Context Protocol (MCP) standardizes how servers expose data and tools to Large Language Models (LLMs). A common server design embeds frequently used reference data, such as identifier lookup tables, directly in the server instructions: the system-prompt text a server hands to the host application. When a query concerns an entry of the embedded table, the model can act on it immediately instead of re-discovering the same information through a search tool. We test whether client LLMs actually consume such instruction-embedded data, reporting a 54,000-trial study across 24 LLMs (9 Claude, 6 Gemini, 9 GPT) on a production legal-information MCP server. A diagnostic condition that removes the competing search tool shows that failures are dominated by behavioral preference rather than missing capability. With search unavailable, 23 of 24 models read the embedded data reliably (hit ratio at least 98%); with a search tool merely present, 9 models drop below 15%. A 2^3 factorial analysis of three instruction-level interventions reveals strong interaction effects: combining all three restores at least 86% for 20 of 24 models, but individual interventions can backfire for specific model families. Per-server prompt engineering is therefore a workaround rather than a fix; we argue that MCP host applications should provide an explicit mechanism that places server instructions ahead of tool selection in the client LLM's deliberation.
- Abstract（参考訳）: Model Context Protocol(MCP)は、サーバがデータやツールをLarge Language Models(LLM)に公開する方法を標準化する。
一般的なサーバ設計では、識別子のルックアップテーブルなどの頻繁に使用される参照データを、サーバ命令に直接埋め込む。
クエリが組み込みテーブルのエントリに関する場合、モデルが検索ツールを通じて同じ情報を再発見する代わりに、即座にそれを実行することができる。
我々は、クライアントLLMが実際にそのような命令埋め込みデータを消費しているかどうかを検証し、24 LLM (9 Claude, 6 Gemini, 9 GPT) にわたる54,000のトライアル研究を、合法情報MPPサーバ上で報告した。
競合する検索ツールを除去する診断条件は、障害が機能欠落よりも行動選好に支配されていることを示している。
検索が不可能な場合、24モデル中23モデルが埋め込みデータを確実に読み取る(少なくとも98%)。
3つの命令レベルの介入の2^3因子分析は、24モデルのうち20モデルのうち、少なくとも86%の復元を組み合わせれば、強い相互作用効果を示すが、個々の介入は特定のモデルファミリーに対してバックファイアする可能性がある。
したがって、サーバ毎のプロンプトエンジニアリングは修正ではなく回避策である。MSPホストアプリケーションは、クライアントLLMの審議において、サーバー命令をツール選択の前に配置する明示的なメカニズムを提供するべきだ、と我々は主張する。
関連論文リスト
- Joint Optimization of Tool Creation and Use for Large Language Model Agents [69.07066297088187]
SMITH (-grounded Multi-task Iterative Tool Honing) は、単一のポリシー内でツールの作成とツールの使用を訓練する。
SMITHで訓練された4B Qwen3は、正確に検証された13の手続き的推論タスクで、保持されたタスクで平均79.8のマクロ平均精度に達する。
また、TabMWP-Hardでは40.4、ドメイン外のGQAでは42.6に到達している。
論文 参考訳（メタデータ） (2026-08-25T13:59:34Z) - DynamicMCPBench: A Trace-Grounded, Effect-Scored Benchmark for LLM Agents over Live MCP Servers [0.0]
固定データセットではなく再利用可能なフレームワークであるDynamicMCPBenchを紹介する。
現実的な目標を生成し、それぞれの目標を追求し、成功軌道を記録し、その軌跡をパスに依存しない効果チェックポイントに蒸留し、最終的な答えにはない、それらの効果を再現するかどうかをエージェントにスコアする。
最強のエージェントでさえタスクの約半分しか解決せず、タスクの31%はモデル無しで解決され、必要なツールチェーンが長くなるにつれて精度が低下する。
論文 参考訳（メタデータ） (2026-07-10T12:25:57Z) - MCP Server Architecture Patterns for LLM-Integrated Applications [0.0]
Model Context Protocol (MCP) は、大きな言語モデルを外部ツール、データソース、サービスに接続するための標準化されたインターフェースを定義する。
リリースから数ヶ月以内に、GitHubに数百のコミュニティ構築のCPサーバが登場したが、ソフトウェア保守に関する文献には、このエコシステムが本番環境でどのように構築されているかを説明されていない。
本稿では、15個の独立開発サーバの列挙されたコーパスで観測される5つの繰り返しMSPサーバアーキテクチャパターンをカタログ化する。
論文 参考訳（メタデータ） (2026-06-29T13:59:41Z) - From Docs to Descriptions: Smell-Aware Evaluation of MCP Server Descriptions [15.082788201596422]
MCPツール記述における記述の臭いに関する最初の体系的研究とそのユーザビリティへの影響について述べる。
記述の臭いは広範に広まり、"コードファースト、記述-ラスト"パターンを反映しています。
機能的に等価なサーバとの競合設定では、標準に準拠した記述は72%の選択確率に達する。
論文 参考訳（メタデータ） (2026-02-21T17:45:07Z) - MCP-Atlas: A Large-Scale Benchmark for Tool-Use Competency with Real MCP Servers [5.463884405989425]
ツール使用能力評価のための大規模ベンチマークであるMPP-Atlasを紹介する。
これには、現実的で多段階のオーケストレーションにおいて、ツール使用能力を評価するために設計された1000のタスクが含まれている。
モデルの最終回答で満たされた事実に基づく部分的信用を付与するクレームベースのルーブリックを使用してタスクをスコアする。
論文 参考訳（メタデータ） (2026-01-31T23:19:39Z) - HuggingR$^{4}$: A Progressive Reasoning Framework for Discovering Optimal Model Companions [50.61510609116118]
HuggingR$4$は、Reasoning、Retrieval、Refinement、Reflectionを組み合わせて効率的にモデルを選択する新しいフレームワークである。
作業性率は92.03%、理性率は82.46%に達し、それぞれ26.51%、33.25%を超える。
論文 参考訳（メタデータ） (2025-11-24T03:13:45Z) - MCP-RiskCue: Can LLM Infer Risk Information From MCP Server System Logs? [3.4468299705073133]
システムログからセキュリティリスクを識別する大規模言語モデルの能力を評価するための,最初の総合ベンチマークを示す。
MCPサーバのリスクの9つのカテゴリを定義し,10の最先端LCMを用いて1,800の合成システムログを生成する。
実験では、小さなモデルではリスクの高いシステムログの検出に失敗することが多く、偽陽性につながることが判明した。
論文 参考訳（メタデータ） (2025-11-08T05:52:53Z) - InfoMosaic-Bench: Evaluating Multi-Source Information Seeking in Tool-Augmented Agents [60.89180545430896]
InfoMosaic-Benchは、ツール拡張されたエージェントを探すマルチソース情報に特化した最初のベンチマークである。
汎用検索とドメイン固有のツールを組み合わせるにはエージェントが必要である。
この設計は信頼性と非自明性の両方を保証する。
論文 参考訳（メタデータ） (2025-10-02T17:48:03Z) - Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation [66.84286617519258]
大規模言語モデルは、データアノテーションやテキスト分析といった労働集約的なタスクの自動化を可能にすることで、社会科学の研究を変革している。
このような変異は、系統的なバイアスやランダムなエラーを導入し、下流の分析に伝播し、タイプI(偽陽性)、タイプII(偽陰性)、タイプS(重み付け効果)、タイプM(誇張効果)のエラーを引き起こす。
意図的なLSMハッキングは驚くほど単純であることがわかった。21の社会科学研究から37のデータアノテーションタスクを複製することで、ほんのわずかのプロンプトの言い回しで、事実上何であれ統計的に重要なものとして表現できることがわかりました。
論文 参考訳（メタデータ） (2025-09-10T17:58:53Z) - MCP-Universe: Benchmarking Large Language Models with Real-World Model Context Protocol Servers [86.00932417210477]
MCP-Universeは,実世界のMPPサーバとのインタラクションを通じて,現実的かつ困難なタスクにおいてLLMを評価するために設計された,初めての総合ベンチマークである。
私たちのベンチマークでは、ロケーションナビゲーション、リポジトリ管理、財務分析、3Dデザイン、ブラウザ自動化、Web検索という、11の異なるMSPサーバにまたがる6つのコアドメインを網羅しています。
GPT-5 (43.72%) やGrok-4 (33.33%) やClaude-4.0-Sonnet (29.44%) のようなSOTAモデルでさえ、大幅な性能制限がある。
論文 参考訳（メタデータ） (2025-08-20T13:28:58Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。