論文の概要: Completeness and Cost of Retrieval Structures for Multi-Tool Requests in LLM Agents

• arxiv url: http://arxiv.org/abs/2610.41905v1
• Date: Fri, 30 Oct 2026 15:40:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.795397
• Title: Completeness and Cost of Retrieval Structures for Multi-Tool Requests in LLM Agents
• Title（参考訳）: LLMエージェントにおけるマルチツール要求のための検索構造の完全性とコスト
• Abstract要約: 必要なツールセットがトップkに表示されるクエリのシェアである完全性@kを測定します。 7,961のToolRetクエリに対するモチベーション分析では、アグリゲート完全性が2つのレシエーションを混在していることが示されている。 2つのテストベッド全体で、テストベッドでトレーニングされていない比較された構造はいずれも、k = 16でAppWorldクエリの10%以上を完了している。
• 参考スコア（独自算出の注目度）: 6.446568742921826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An agent that must call several tools to fulfill a request fails when the tool retriever omits any one of them, yet tool retrievers are mostly built and evaluated on queries requiring a single tool. We compare representatives of six retrieval structures (flat lexical and dense retrieval, LLM query decomposition, LLM-navigated hierarchies, server-then-tool matching, dependency graphs, and trained set-level retrievers) across two multi-tool testbeds: 345 AppWorld queries with expert dependency labels and 103 MCP-Bench tasks over 257 MCP tools. We measure completeness@k, the share of queries whose entire required tool set appears in the top k, alongside the LLM calls, tokens, and latency that each structure incurs at retrieval time. A motivating analysis on all 7,961 ToolRet queries shows that aggregate completeness mixes two regimes: completeness at 10 is .58 to .67 on single-target queries and .08 to .17 on queries with four or more targets, and the ordering of retrievers on single-target queries reverses on multi-target ones. Across the two testbeds, none of the compared structures that is untrained on the testbed and makes at most one LLM call per query completes more than 10% of AppWorld queries at k = 16. The two structures that do better incur different costs: a set-level retriever trained on 75 to 90 in-domain queries reaches .33 on AppWorld and .58 on MCP-Bench with no LLM calls, while an LLM-navigated hierarchy reaches .30 and .40 with a median of 31 to 38 LLM calls and about five minutes per query. Their failure modes also differ: the trained retriever mostly ranks the missing tools just below the cutoff, whereas the hierarchy finds the target API and stops before collecting its prerequisites. In a downstream check with the official AppWorld agent, tasks with a complete retrieved set succeeded 21 of 21 times, whereas incomplete ones succeeded 2 of 39 times.
• Abstract（参考訳）: 要求を満たすために複数のツールを呼び出す必要があるエージェントは、ツールレトリバーがいずれかのツールを省略した場合に失敗するが、ツールレトリバーは主に単一のツールを必要とするクエリに基づいて構築され、評価される。 345 AppWorld query with expert dependency labels and 103 MCP-Bench task over 257 MCP tools。 LLMコール、トークン、および各構造が検索時に発生するレイテンシとともに、必要なツールセットがトップkに表示されるクエリのシェアを計測する。 7,961のToolRetクエリのモチベーション分析によると、集約完全性は、単一ターゲットクエリで10の完全性は.58から.67であり、4つ以上のターゲットを持つクエリで.08から.17であり、単一ターゲットクエリで検索者の順序は、マルチターゲットクエリで逆になる。 2つのテストベッド全体では、比較された構造はいずれもテストベッド上でトレーニングされておらず、クエリ毎に少なくとも1つのLSMコールがk = 16でAppWorldクエリの10%以上完了している。 75から90のインドメインクエリでトレーニングされたセットレベルレトリバーが、MPP-Benchで.33、LCMコールなしで.58、LCMでナビゲートされた階層が.30、.40、中央値31から38のLCMコールで約5分に達する。 トレーニングされたレトリバーは、主にカットオフのすぐ下にあるツールをランク付けするが、階層構造はターゲットAPIを見つけ、その前提条件を収集する前に停止する。 公式のAppWorldエージェントによるダウンストリームチェックでは、完了したセットのタスクが21回、未完了のタスクが39回、21回成功した。

関連論文リスト

• Plan or Retrieve First? A Scale Study of Tool Discovery Architectures [3.177042923080375]
  LLMが最初に抽象ツールスタブを生成するPlan-then-Retrieve(PtR)パラダイムについて検討する。 RtPはシングルツールクエリでPtRより優れ、PtRはマルチツールクエリでRtPより優れています。
  論文  参考訳（メタデータ） (2026-10-13T19:03:21Z)
• Joint Optimization of Tool Creation and Use for Large Language Model Agents [69.07066297088187]
  SMITH (-grounded Multi-task Iterative Tool Honing) は、単一のポリシー内でツールの作成とツールの使用を訓練する。 SMITHで訓練された4B Qwen3は、正確に検証された13の手続き的推論タスクで、保持されたタスクで平均79.8のマクロ平均精度に達する。 また、TabMWP-Hardでは40.4、ドメイン外のGQAでは42.6に到達している。
  論文  参考訳（メタデータ） (2026-08-25T13:59:34Z)
• Boolean queries are all you need? [10.637635718179075]
  TREC 2024 RAGトラックで使用されるMS MARCO V2.1復号セグメントコレクションを検索する。 86のトピックの標準トラックサブセットと100のモデルコール/トピックの予算の下で動作し、エージェントは0.6863のNDCG@10を達成した。 ランク付けは、クエリにマッチするコーパスの密度のみに基づいており、教師付き学習、グローバル統計、用語の重み付けは不要である。
  論文  参考訳（メタデータ） (2026-07-13T10:25:46Z)
• SGR-Bench: Benchmarking Search Agents on State-Gated Retrieval [5.32888938421653]
  専門的な検索タスクのクラスは、まだ不足している。 我々は、この機能をステートゲート検索(SGR)と呼ぶ。 SGR-Benchはこの設定のためのベンチマークで、6つのソースファミリーと12のパブリックデータエコシステムにまたがる100の専門家によるタスクを含んでいる。
  論文  参考訳（メタデータ） (2026-05-21T09:22:48Z)
• SAGE: Benchmarking and Improving Retrieval for Deep Research Agents [60.53966065867568]
  SAGEは4つの科学領域にわたる1200のクエリからなる科学文献検索のためのベンチマークであり、20万の論文検索コーパスを備える。 6つのディープ・リサーチ・エージェントを評価し,全てのシステムが推論集約的な検索に苦しむことを発見した。 BM25は、既存のエージェントがキーワード指向のサブクエリを生成するため、LLMベースのレトリバーを約30%上回っている。
  論文  参考訳（メタデータ） (2026-02-05T18:25:24Z)
• TPS-Bench: Evaluating AI Agents' Tool Planning \& Scheduling Abilities in Compounding Tasks [23.96822236741708]
  大規模言語モデル(LLM)エージェントは、研究やコーディングといった分野にまたがる強力な問題解決能力を示している。 本稿では, TPS-Bench を用いて, ツールプランニングとスケジューリングを要求される問題に対する LLM エージェントの能力のベンチマークを行う。
  論文  参考訳（メタデータ） (2025-11-03T12:45:39Z)
• AGENTIF: Benchmarking Instruction Following of Large Language Models in Agentic Scenarios [51.46347732659174]
  LLM(Large Language Models)は、現実世界のエージェントアプリケーションにおいて高度な機能を示す。 AgentIFは、エージェントシナリオでLLM命令に従う能力を体系的に評価する最初のベンチマークである。
  論文  参考訳（メタデータ） (2025-05-22T17:31:10Z)
• Guarded Query Routing for Large Language Models [2.2349474636722317]
  ガードドクエリルーティング問題について検討し、最初にガードドクエリルーティングベンチマーク(GQR-Bench)を導入する。 その結果,ドメイン外検出能力が向上したWideMLPでは,精度(88%)と速度(4ms)のトレードオフが最良であることがわかった。 本研究は,LLMを(保護された)クエリルーティングに自動的に依存させることに挑戦し,実用的なアプリケーションに具体的なレコメンデーションを提供する。
  論文  参考訳（メタデータ） (2025-05-20T15:46:59Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。