論文の概要: ToolRobustBench: Stage-Wise Perturbation Evaluation and Failure Diagnosis for Tool-Calling Agents
- arxiv url: http://arxiv.org/abs/2608.23635v1
- Date: Sun, 23 Aug 2026 15:22:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.433527
- Title: ToolRobustBench: Stage-Wise Perturbation Evaluation and Failure Diagnosis for Tool-Calling Agents
- Title（参考訳）: ToolRobustBench: ツールカートリング剤のステージワイズ摂動評価と故障診断
- Abstract要約: 大規模言語モデルは基本的なエージェント機能としてツール呼び出しに依存している。
クリーンなエンドツーエンド(E2E)の成功は、ツール使用障害の発生場所や、呼び出しを通じてどのように伝播するかを特定できない。
ツールコールエージェントの段階的診断ベンチマークである ToolRobustBench を紹介する。
- 参考スコア（独自算出の注目度）: 16.995082216096787
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) rely on tool calling as a fundamental agent capability, enabling them to invoke external systems and complete tasks beyond text generation. However, clean end-to-end (E2E) success cannot identify where a tool-use failure originates or how it propagates through a call. We introduce ToolRobustBench, a stage-wise diagnostic benchmark for tool-calling agents, where a tool-calling agent is an LLM system that selects a tool, supplies structured arguments, and interprets its returned feedback. ToolRobustBench aligns four perturbation families with the tool-use pipeline: tool-interface, user-intent, tool-output/observation, and runtime-environment perturbations. It attributes failures to tool selection, schema grounding, argument binding, tool-output/runtime-feedback handling, and E2E task success. Experiments on 15,456 single-family instances across 7 models, 16 sampled local tools, 4 perturbation families, and 14 subtypes show high but non-uniform clean performance and substantial robustness degradation, with tool-output/observation perturbation the dominant bottleneck. Mixed-family experiments reveal non-additive failure patterns that are not explained by isolated single-family results. Thus, ToolRobustBench provides a deterministic and cascade-aware benchmark for diagnosing robustness beyond clean tool-calling accuracy;
- Abstract（参考訳）: 大規模言語モデル(LLM)は基本的なエージェント機能としてツール呼び出しに依存しており、外部システムを呼び出すことができ、テキスト生成以外のタスクを完了させることができる。
しかしながら、クリーンなエンドツーエンド(E2E)の成功は、ツール使用障害の発生場所や、呼び出しを通じてどのように伝播するかを特定できない。
ツールコールエージェントは、ツールを選択し、構造化された引数を供給し、返却されたフィードバックを解釈するLLMシステムである。
ToolRobustBenchは4つの摂動ファミリをツール使用パイプライン – ツールインターフェース,ユーザインテリジェント,ツールアウトプット/オブザーバ,ランタイム環境の摂動 – と整合させる。
ツールの選択、スキーマのグラウンディング、引数のバインディング、ツールアウトプット/実行時のフィードバック処理、E2Eタスクの成功が失敗の原因だ。
7つのモデルにまたがる15,456のシングルファミリーインスタンス,16のサンプルツール,4つの摂動ファミリー,14のサブタイプによる実験は,高いが一様でないクリーンパフォーマンスと相当な堅牢性低下を示し,ツールアウトプット/観測摂動が主なボトルネックとなった。
混合ファミリー実験では、孤立した単一ファミリーの結果では説明できない非付加的な失敗パターンが示される。
このように、ToolRobustBenchは、クリーンなツール呼び出し精度以上の堅牢性を診断するための決定論的でカスケード対応のベンチマークを提供する。
関連論文リスト
- Joint Optimization of Tool Creation and Use for Large Language Model Agents [69.07066297088187]
SMITH (-grounded Multi-task Iterative Tool Honing) は、単一のポリシー内でツールの作成とツールの使用を訓練する。
SMITHで訓練された4B Qwen3は、正確に検証された13の手続き的推論タスクで、保持されたタスクで平均79.8のマクロ平均精度に達する。
また、TabMWP-Hardでは40.4、ドメイン外のGQAでは42.6に到達している。
論文 参考訳（メタデータ） (2026-08-25T13:59:34Z) - ToolAtlas: Learning Once, Reusing Everywhere with Tool-Side Memory [49.08868447320197]
大規模言語モデル(LLM)エージェントは、共有プロバイダが提供する外部ツールにますます依存している。
既存のアプローチでは、パラメータ更新、プロンプトリファインメント、エージェント側のメモリを通じて、エージェント側のツール使用を改善する。
グラフベースのフレームワークであるToolAtlasを紹介します。
論文 参考訳（メタデータ） (2026-07-13T06:01:41Z) - ToolFailBench: Diagnosing Tool-Use Failures in LLM Agents [0.0]
ToolFailBenchは、ツール使用障害を測定するための診断ベンチマークである。
それぞれのトレースをTool-Skip、Result-Ignore、Output-Fabrication、Unnecessary-Tool-Useとラベル付けします。
論文 参考訳（メタデータ） (2026-07-06T05:25:21Z) - Beyond Function Calling: Benchmarking Tool-Using Agents under Tool-Environment Unreliability [14.862168786900382]
本稿では,信頼性評価のためのベンチマークであるToolBench-Xを紹介する。
クリーンなツール環境から始めると、ToolBench-Xは5つの構造化ハザードタイプを注入する。
信頼性のあるツールでうまく機能するエージェントは、回復可能なハザードの下で失敗することが多い。
論文 参考訳（メタデータ） (2026-06-24T13:34:34Z) - SING: Synthetic Intention Graph for Scalable Active Tool Discovery in LLM Agents [64.59100414726556]
大規模言語モデル(LLM)エージェントは、コンテキスト、ツール、マルチターン実行を管理するハーネスに依存している。
Retrieval-augmented Tool selectionは、自然な代替手段を提供するが、既存のワンショット検索方法は、独立したツール記述とエージェントの真のタスク意図との整合に失敗する。
我々は、ユーザ意図、ツール機能、ツールコラボレーションパターンをリンクするインテントツーオールグラフを構築する、意図認識型のアクティブツール発見フレームワークであるSINGを提案する。
論文 参考訳（メタデータ） (2026-06-15T11:37:37Z) - HyperTool: Beyond Step-Wise Tool Calls for Tool-Augmented Agents [52.33697136670754]
textbfHyperToolは、実行可能なMPPスタイルのツールインターフェースで、ツール実行のモデル可視単位を変更する。
モデルはHyperToolをコードブロックで呼び出し、既存のツールを元のスキーマを通じて呼び出し、返却された値を操作し、中間結果をローカルに渡すことができる。
MCP-Universeでは、HyperToolは平均精度をQwen3-32Bで15.69%から35.29%、Qwen3-8Bで9.93%から33.33%に改善し、GPT-OSSとKimi-k2.5を平均で上回っている。
論文 参考訳（メタデータ） (2026-06-11T17:56:36Z) - Do Multimodal Agents Really Benefit from Tool Use? A Systematic Study of Capability Gains [20.11899219087138]
画像のエージェントであるThymeとDeepEyesV2を用いて、現実世界の理解、OCR、チャート理解、数学的推論の2つの代表的思考について検討する。
ツールアクセスは、一貫した集約的改善がほとんど得られず、生成したコストを確実に削減することができず、小さなツールのみの解決セットのみを残している。
論文 参考訳（メタデータ） (2026-06-01T15:04:25Z) - Open, Reliable, and Collective: A Community-Driven Framework for Tool-Using AI Agents [22.64138018985385]
我々は、失敗は、ツール使用精度(エージェントがどのようにツールを呼び出すか)と固有のツール精度(ツール自身の正確性)の両方から生じると論じている。
ツールスキーマを標準化するコミュニティ主導のツールボックスであるOpenToolsを紹介します。
OpenToolsには、コアフレームワーク、初期ツールセット、評価パイプライン、コントリビューションプロトコルが含まれている。
論文 参考訳（メタデータ） (2026-03-31T18:42:36Z) - ToolMATH: A Math Tool Benchmark for Realistic Long-Horizon Multi-Tool Reasoning [11.99927786717109]
ToolMATHは、数学の問題をツールセットによる制御された正当性チェック可能なベンチマークに変換する。
ToolMATHは、ツール拡張されたエージェントの障害モードの実行可能な診断証拠を提供する。
論文 参考訳（メタデータ） (2026-02-24T09:23:12Z) - AdaReasoner: Dynamic Tool Orchestration for Iterative Visual Reasoning [66.24374176797075]
textbfAdaReasonerは、ツール固有の、あるいは明示的な教師付き行動ではなく、一般的な推論スキルとしてツールの使用を学ぶマルチモーダルモデルのファミリーである。
AdaReasonerは、(i)スケーラブルなデータキュレーションパイプラインによって、長期にわたる多段階のツールインタラクションにモデルを公開し、(ii)ツール-GRPO、(ii)ツールの選択とシークエンシングをエンドツーエンドの成功に基づいて優先順位付けする強化学習アルゴリズム、(iii)ツールの使用を動的に規制する適応学習メカニズムによって実現されている。
論文 参考訳（メタデータ） (2026-01-26T16:04:43Z) - Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。
MeCoは、表現空間内の高レベル認知信号をキャプチャすることで、メタ認知スコアを定量化する。
MeCoは微調整不要で、最小限のコストがかかる。
論文 参考訳（メタデータ） (2025-02-18T15:45:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。