論文の概要: Tool Retrievers Are Underestimated: Annotation Expansion Reveals True Capability
- arxiv url: http://arxiv.org/abs/2609.08327v1
- Date: Tue, 08 Sep 2026 06:53:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 16:50:14.945951
- Title: Tool Retrievers Are Underestimated: Annotation Expansion Reveals True Capability
- Title（参考訳）: ツールのリトリバーが過小評価される - アノテーションの拡張によって真の能力が明らかに
- Abstract要約: 大規模で進化しているツールリポジトリを持つオープンワールドのシナリオでは、ツール拡張された大きな言語モデルは、レトリバーを使用して、特定のクエリに関連するツールを検索する。
このようなリポジトリには、同じ機能を実装する多くのツールが含まれているため、単一のクエリは、異なるが機能的に等価なツールの組み合わせによって解決されることが多い。
ラベル付きツールと同等の機能を持つツールの組み合わせを自動的に検出し、注釈付けするフレームワークであるToolEXを提案する。
- 参考スコア（独自算出の注目度）: 17.131569756556413
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In open-world scenarios with massive and evolving tool repositories, tool-augmented large language models rely on a retriever to surface relevant tools for a given query. Because such repositories often contain many tools that implement the same functionality, a single query can often be resolved by several distinct but functionally equivalent tool combinations, making the natural query-to-tool mapping inherently one-to-many. However, existing tool retrieval benchmarks annotate each query with a single relevant tool combination, collapsing this one-to-many mapping into a rigid one-to-one annotation and causing valid retrieved tools to be misjudged as failures. To address this, we propose ToolEX (Tool Equivalent eXpansion), a framework that automatically discovers and annotates the tool combinations functionally equivalent to the labeled ones. Applied to the 7,360-query Tool-DE benchmark, ToolEX finds that 67.9% of sub-queries admit equivalent alternatives, expanding the singular ground truth to an average of 5.3 valid combinations per query. Using the expanded benchmark ToolEQ, we re-evaluate eight base retrievers and two fine-tuned variants; metrics on ToolEQ rise substantially over Tool-DE, showing that one-to-one annotation systematically underestimates retrievers and that 30--47% of the reported fine-tuning gain is an evaluation artifact rather than genuine improvement. Applying the same pipeline to skill retrieval on SkillRet further confirms that the one-to-one problem extends beyond tool retrieval.
- Abstract（参考訳）: 大規模で進化しているツールリポジトリを持つオープンワールドのシナリオでは、ツール拡張された大きな言語モデルは、レトリバーを使用して、特定のクエリに関連するツールを検索する。
このようなレポジトリには、同じ機能を実装する多くのツールが含まれていることが多いため、単一のクエリは、いくつかの異なる機能的なツールの組み合わせによって解決されることが多い。
しかし、既存のツール検索ベンチマークでは、各クエリに1つの関連するツールの組み合わせをアノテートし、この1対1のマッピングを厳格な1対1のアノテーションに分解し、有効なツールを失敗と勘違いさせる。
この問題を解決するために,ツールEX (Tool Equivalent eXpansion) というフレームワークを提案する。
7360-query Tool-DEベンチマークに適用されたToolEXは、67.9%のサブクエリが同等の選択肢を認めており、特異基底真理をクエリ毎の平均5.3の有効な組み合わせに拡張している。
ToolEQは1対1のアノテーションがレトリバーを体系的に過小評価しており、報告された微調整利得の30～47%は真の改善ではなく評価成果であることを示している。
SkillRetで同じパイプラインをスキル検索に適用すると、一対一の問題がツール検索を超えて広がることがさらに確認される。
関連論文リスト
- Joint Optimization of Tool Creation and Use for Large Language Model Agents [69.07066297088187]
SMITH (-grounded Multi-task Iterative Tool Honing) は、単一のポリシー内でツールの作成とツールの使用を訓練する。
SMITHで訓練された4B Qwen3は、正確に検証された13の手続き的推論タスクで、保持されたタスクで平均79.8のマクロ平均精度に達する。
また、TabMWP-Hardでは40.4、ドメイン外のGQAでは42.6に到達している。
論文 参考訳（メタデータ） (2026-08-25T13:59:34Z) - Tools Are Not Islands: Set-Level Tool Retrieval for LLM Agents via Query-Conditioned Hyperedge Prediction [4.596769167229008]
本稿では,HyperedgeベースのSEtレベルツール検索のためのHYSETを提案する。
i)ツールセット自体がスコアの単位となるツール共起動ハイパーグラフ上でのクエリ条件付きハイパーエッジ予測としてツール検索を定式化し、(ii)濃度固有の相互作用を通じてサイズに依存したツール互換性をキャプチャし、(iii)下流エージェントの変更を必要としない事前選択モジュールとしてHYSETを設計する。
論文 参考訳（メタデータ） (2026-07-28T13:45:08Z) - SING: Synthetic Intention Graph for Scalable Active Tool Discovery in LLM Agents [64.59100414726556]
大規模言語モデル(LLM)エージェントは、コンテキスト、ツール、マルチターン実行を管理するハーネスに依存している。
Retrieval-augmented Tool selectionは、自然な代替手段を提供するが、既存のワンショット検索方法は、独立したツール記述とエージェントの真のタスク意図との整合に失敗する。
我々は、ユーザ意図、ツール機能、ツールコラボレーションパターンをリンクするインテントツーオールグラフを構築する、意図認識型のアクティブツール発見フレームワークであるSINGを提案する。
論文 参考訳（メタデータ） (2026-06-15T11:37:37Z) - ToolFlood: Beyond Selection -- Hiding Valid Tools from LLM Agents via Semantic Covering [2.6928305857508974]
本稿では,ツール拡張型Large Language Model (LLM)エージェントに対する検索層攻撃であるToolFloodを紹介する。
検索後にどのツールが選択されるかを変更するのではなく、ToolFloodは、いくつかのアタッカー制御ツールを注入することで、検索自体を圧倒する。
ToolFloodは、95%のアタック成功率と低インジェクション率を実現している。
論文 参考訳（メタデータ） (2026-03-14T13:54:49Z) - AdaReasoner: Dynamic Tool Orchestration for Iterative Visual Reasoning [66.24374176797075]
textbfAdaReasonerは、ツール固有の、あるいは明示的な教師付き行動ではなく、一般的な推論スキルとしてツールの使用を学ぶマルチモーダルモデルのファミリーである。
AdaReasonerは、(i)スケーラブルなデータキュレーションパイプラインによって、長期にわたる多段階のツールインタラクションにモデルを公開し、(ii)ツール-GRPO、(ii)ツールの選択とシークエンシングをエンドツーエンドの成功に基づいて優先順位付けする強化学習アルゴリズム、(iii)ツールの使用を動的に規制する適応学習メカニズムによって実現されている。
論文 参考訳（メタデータ） (2026-01-26T16:04:43Z) - ToolLibGen: Scalable Automatic Tool Creation and Aggregation for LLM Reasoning [80.10274552177096]
外部ツールを備えたLarge Language Models (LLM) は、複雑な推論タスクにおけるパフォーマンスの向上を実証している。
このツールに強化された推論が広く採用されるのは、ドメイン固有のツールが不足しているためである。
構造化ツールライブラリに非構造化ツールのコレクションを自動的に組み込むための体系的なアプローチを提案する。
論文 参考訳（メタデータ） (2025-10-09T04:11:16Z) - MassTool: A Multi-Task Search-Based Tool Retrieval Framework for Large Language Models [45.63804847907601]
MassToolは、クエリ表現とツール検索の精度を向上させるために設計されたマルチタスク検索ベースのフレームワークである。
関数呼び出しの必要性を予測するツール使用検知塔と、クエリ中心のグラフ畳み込みネットワーク(QC-GCN)を活用して効率的なクエリツールマッチングを行うツール検索塔である。
MassToolは、ツール使用の検出損失、リストワイズ検索損失、コントラスト正規化損失を共同で最適化することにより、厳密なクエリ理解のための堅牢な2段階のシーケンシャル意思決定パイプラインを確立する。
論文 参考訳（メタデータ） (2025-07-01T07:02:26Z) - Re-Invoke: Tool Invocation Rewriting for Zero-Shot Tool Retrieval [47.81307125613145]
Re-Invokeは、トレーニングなしで大規模ツールセットに効果的にスケールするために設計された教師なしツール検索手法である。
我々は、クエリ毎に最も関連性の高いツールを特定するために、意図に基づいて、新しいマルチビュー類似度ランキング戦略を採用する。
評価の結果、Re-Invokeはシングルツールとマルチツールの両方のシナリオにおいて、最先端の代替よりも大幅に優れていた。
論文 参考訳（メタデータ） (2024-08-03T22:49:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。