論文の概要: ToolSense: A Diagnostic Framework for Auditing Parametric Tool Knowledge in LLMs
- arxiv url: http://arxiv.org/abs/2606.12451v1
- Date: Thu, 04 Jun 2026 14:59:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-12 15:55:27.340238
- Title: ToolSense: A Diagnostic Framework for Auditing Parametric Tool Knowledge in LLMs
- Title（参考訳）: ToolSense: LLMにおけるパラメトリックツール知識の診断フレームワーク
- Abstract要約: 大きなツールカタログ上のエージェントとしてデプロイされる大きな言語モデルは、ツールと検索のボトルネックに直面する。
textbfToolSenseはオープンソースの診断フレームワークで、任意のツールカタログを入力として、自動的に3つのベンチマークを生成する。
ToolBenchにToolSenseを適用することで、知識検索の解離が明らかになる。クエリでは、完全に特定されたToolBenchベンチマークと比較して、いくつかの構成が50～64ポイント崩壊する。
- 参考スコア（独自算出の注目度）: 1.310784792591967
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Large language models deployed as agents over large tool catalogs face a critical tool-retrieval bottleneck. As embedding-based retrieval approaches rely on compact encoders that may under-capture specialized tool semantics, parametric tool retrieval addresses this by encoding each tool as a virtual token appended to the LLM vocabulary, fine-tuned in two stages (memorization then retrieval SFT) to use the LLM as a retriever, achieving strong performance on standard ToolBench retrieval benchmarks. Yet these benchmarks use verbose, fully-specified queries, and their evaluation applies constrained decoding that restricts outputs to valid token paths, neither reveals whether the model actually understands its tools. We introduce \textbf{ToolSense}, an open-source LLM-powered diagnostic framework that takes any tool catalog as input and automatically generates three benchmarks: a Realistic Retrieval Benchmark (RRB) with queries at three ambiguity tiers, an MCQ probing benchmark, and a QA probing benchmark. Applying ToolSense to ToolBench (~47k tools) and evaluating five parametric model training configurations reveals a knowledge-retrieval dissociation: on RRB queries, several configurations collapse by ~50-64 percentage points compared to fully-specified ToolBench benchmarks, falling below the embedding-model baseline. Additionally, despite strong retrieval performance, some models score near-random on factual probes, suggesting a knowledge-retrieval dissociation. We open-source the ToolSense framework and the ToolBench diagnostic benchmarks at https://github.com/SAP/toolsense.
- Abstract（参考訳）: 大きなツールカタログ上のエージェントとしてデプロイされる大きな言語モデルは、ツールと検索のボトルネックに直面する。
埋め込みベースの検索アプローチは、特殊なツールセマンティクスをアンダーキャプチャするコンパクトエンコーダに依存しているため、パラメトリックツール検索は、各ツールをLLM語彙に付加された仮想トークンとしてエンコードし、2段階(記憶と検索SFT)で微調整し、LLMをレトリバーとして使用し、標準のToolBench検索ベンチマークで高いパフォーマンスを達成することで、この問題に対処する。
しかし、これらのベンチマークは冗長で完全に特定されたクエリを使用し、それらの評価は、出力を有効なトークンパスに制限する制約付きデコードを適用している。
オープンソースの LLM ベースの診断フレームワークである \textbf{ToolSense} を導入し、任意のツールカタログを入力として取り出し、3つのベンチマークを自動生成する: Realistic Retrieval Benchmark (RRB)。
ToolSenseをToolBench(約47kツール)に適用し、5つのパラメトリックモデルトレーニング構成を評価すると、知識と検索の解離が明らかになる。RBクエリでは、いくつかの構成が完全に特定されたToolBenchベンチマークと比較して50～64ポイント崩壊し、埋め込みモデルベースラインを下回る。
さらに、強力な検索性能にもかかわらず、いくつかのモデルは事実探索でほぼランダムにスコアし、知識検索の解離を示唆する。
ToolSenseフレームワークとToolBench診断ベンチマークをhttps://github.com/SAP/toolsense.comでオープンソース化しました。
関連論文リスト
- Joint Optimization of Tool Creation and Use for Large Language Model Agents [69.07066297088187]
SMITH (-grounded Multi-task Iterative Tool Honing) は、単一のポリシー内でツールの作成とツールの使用を訓練する。
SMITHで訓練された4B Qwen3は、正確に検証された13の手続き的推論タスクで、保持されたタスクで平均79.8のマクロ平均精度に達する。
また、TabMWP-Hardでは40.4、ドメイン外のGQAでは42.6に到達している。
論文 参考訳（メタデータ） (2026-08-25T13:59:34Z) - Bidirectional Semantic Complementary Tool Retrieval for Remote Sensing Agents [14.603837941754483]
大規模言語モデル(LLM)に基づくエージェントは、リモートセンシング(RS)データの自動処理のための新しいパラダイムを提供する。
意味的非対称性」に直面する既存のツール検索手法
本稿では,双方向のセマンティック補完ツール検索手法を提案する。
論文 参考訳（メタデータ） (2026-04-29T14:07:19Z) - Try, Check and Retry: A Divide-and-Conquer Framework for Boosting Long-context Tool-Calling Performance of LLMs [78.58042751671393]
Tool-DCは、大規模言語モデルのツール呼び出し性能を高めるためのDivide-and-Conquerフレームワークである。
Tool-DCには2つのバリエーションがある: 1) プラグアンドプレイでフレキシブルなトレーニングフリーツールDC(TF)、2) より推論効率のよいトレーニングベースツールDC(TB)。
広範にわたる実験により、ツール-DC法は両者を明らかなマージンで上回る結果となった。
論文 参考訳（メタデータ） (2026-03-12T03:30:01Z) - MCP-Atlas: A Large-Scale Benchmark for Tool-Use Competency with Real MCP Servers [5.463884405989425]
ツール使用能力評価のための大規模ベンチマークであるMPP-Atlasを紹介する。
これには、現実的で多段階のオーケストレーションにおいて、ツール使用能力を評価するために設計された1000のタスクが含まれている。
モデルの最終回答で満たされた事実に基づく部分的信用を付与するクレームベースのルーブリックを使用してタスクをスコアする。
論文 参考訳（メタデータ） (2026-01-31T23:19:39Z) - TRAJECT-Bench:A Trajectory-Aware Benchmark for Evaluating Agentic Tool Use [74.47746287181383]
大規模言語モデル(LLM)ベースのエージェントは、現実のタスクを完了するためのツールの使用にますます依存している。
LLMのツール使用能力を総合的に評価するためのトラジェクトリ対応ベンチマークであるTRAJECT-Benchを紹介する。
論文 参考訳（メタデータ） (2025-10-06T07:30:25Z) - MCPVerse: An Expansive, Real-World Benchmark for Agentic Tool Use [72.53177559476704]
我々はエージェントツールの使用を評価するための実世界のベンチマークであるMCPVerseを紹介する。
MCPVerseは550以上の実世界の実行可能なツールを統合し、140kトークンを超える前例のないアクション空間を作成する。
私たちは最先端のLSMを3つのモード(Oracle、Standard、Max-Scale)でベンチマークしました。
論文 参考訳（メタデータ） (2025-08-22T09:47:53Z) - ACEBench: Who Wins the Match Point in Tool Usage? [86.79310356779108]
ACEBenchは、Large Language Models (LLMs)におけるツールの使用状況を評価するための包括的なベンチマークである。
データを評価方法論に基づく3つの主要なタイプに分類する。
これは、異なるデータタイプにわたるエラー原因をよりきめ細かい検査を提供する。
論文 参考訳（メタデータ） (2025-01-22T12:59:08Z) - Data-Efficient Massive Tool Retrieval: A Reinforcement Learning Approach for Query-Tool Alignment with Language Models [28.67532617021655]
外部ツールやAPIと統合された大規模言語モデル(LLM)は、コンテキスト内学習や微調整によって複雑なタスクにうまく対応している。
この進歩にもかかわらず、厳密な入力長制約のため、ツール検索の大規模化は依然として困難である。
本稿では,大規模なツール検索(MTR)タスクとして,大規模リポジトリからの事前検索戦略を提案する。
論文 参考訳（メタデータ） (2024-10-04T07:58:05Z) - Efficient and Scalable Estimation of Tool Representations in Vector Space [34.767193045989515]
ツール検索のための合成データを生成するためのフレームワークと,小型エンコーダモデルを用いた効率的なデータ駆動型ツール検索戦略を提案する。
ToolBankは、実際のユーザ利用を反映した、新しいツール検索データセットです。
これらの新しい方法により、ToolBenchデータセット上のRecall@Kで最大27.28、ToolBank上のRecall@Kで30.5の改善を実現しています。
論文 参考訳（メタデータ） (2024-09-02T19:39:24Z) - ToolSandbox: A Stateful, Conversational, Interactive Evaluation Benchmark for LLM Tool Use Capabilities [30.030101957186595]
ToolSandboxは、大規模言語モデル(LLM)の評価フレームワークである。
ToolSandboxには、ステートフルなツール実行、ツール間の暗黙のステート依存性、オン・ポリケーションの会話評価をサポートする組み込みユーザシミュレータが含まれている。
オープンソースとプロプライエタリなモデルには大きなパフォーマンスギャップがあることを示し、ToolSandboxで定義された状態依存、正準化、不十分な情報といった複雑なタスクは、最も有能なSOTA LLMでさえも挑戦している。
論文 参考訳（メタデータ） (2024-08-08T05:45:42Z) - Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
現実世界のシステムは多種多様なツールを組み込んでおり、全てのツールを大規模言語モデルに入力することは不可能である。
既存のツール検索手法は主にユーザクエリとツール記述間のセマンティックマッチングに焦点を当てている。
我々は,ユーザクエリとツール記述のセマンティックな類似性だけでなく,ツールの協調的情報も考慮した,新しいモデル診断型協調学習型ツール検索手法であるCOLTを提案する。
論文 参考訳（メタデータ） (2024-05-25T06:41:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。