論文の概要: ToolMisuseBench: An Offline Deterministic Benchmark for Tool Misuse and Recovery in Agentic Systems

• arxiv url: http://arxiv.org/abs/2604.01508v1
• Date: Thu, 02 Apr 2026 00:42:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-03 14:21:10.178376
• Title: ToolMisuseBench: An Offline Deterministic Benchmark for Tool Misuse and Recovery in Agentic Systems
• Title（参考訳）: ToolMisuseBench: エージェントシステムのツールミスとリカバリのためのオフライン決定性ベンチマーク
• Abstract要約: エージェントを使用するツールは、言語理解が強い場合でも、運用上の理由で失敗することが多い。 よくある原因は、無効な引数、インターフェイスのドリフト、弱い回復、非効率的な再試行行動である。 ToolMisuseBenchは、ツールの誤用とリカバリを明示的なステップ、コール、リトライの予算で評価するためのオフライン決定性ベンチマークです。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tool using agents often fail for operational reasons even when language understanding is strong. Common causes include invalid arguments, interface drift, weak recovery, and inefficient retry behavior. We introduce ToolMisuseBench, an offline deterministic benchmark for evaluating tool misuse and recovery under explicit step, call, and retry budgets. The benchmark covers CRUD, retrieval, file, and scheduling environments with replayable fault injection. It reports success, invalid call behavior, policy violations, recovery quality, and budgeted efficiency. We release a public dataset with 6800 tasks and a reproducible evaluation pipeline. Baseline results show fault specific recovery gains for schema aware methods, while overall success remains limited under the released authorization and hard failure settings.
• Abstract（参考訳）: エージェントを使用するツールは、言語理解が強い場合でも、運用上の理由で失敗することが多い。 よくある原因は、無効な引数、インターフェイスのドリフト、弱い回復、非効率的な再試行行動である。 ToolMisuseBenchは、ツールの誤用とリカバリを明示的なステップ、コール、リトライの予算で評価するためのオフライン決定性ベンチマークです。 このベンチマークでは、リプレイ可能なフォールトインジェクションを備えたCRUD、検索、ファイル、スケジューリング環境がカバーされている。 成功、不正な呼び出し行動、ポリシー違反、回復の質、予算化された効率を報告します。 6800のタスクと再現可能な評価パイプラインを備えたパブリックデータセットをリリースします。 ベースラインの結果は、スキーマ対応メソッドの障害固有のリカバリが向上することを示しているが、全体的な成功は、リリースされた承認とハード障害設定の下で制限されている。

関連論文リスト

• ParaRecover: A Process-Level Benchmark for Error Localization and Recovery in Parallel Tool-Use Agents [9.426759720914623]
  ParaRecoverは、マルチターン並列ツール使用エージェントのエラーローカライゼーションとリカバリを評価するための、プロセスレベルのベンチマークである。 計画依存関係、ツールの選択、引数マッチングを含む14のエラータイプの詳細な分類に基づいて、ベンチマークは2つの困難レベルにまたがる10,626のインスタンスで構成されている。 実験によると、最先端のモデルでさえも、マルチターンエラーの伝播、ツール使用障害の簡易化、正確な再計画に苦戦している。
  論文  参考訳（メタデータ） (2026-09-11T02:09:33Z)
• PeakBench: Benchmarking Resource-Aware Tool Invocation in LLM Agents [79.28372522980153]
  PeakBenchは、実行可能なマルチツール依存アノテーションと測定リソースプロファイルのベンチマークである。 我々は,強い論理的計画が資源制約下での安全あるいは効率的な実行に確実に変換されないことを示す。 PeakBenchは、リソース認識エージェントの振る舞いの診断に有用なテストベッドである。
  論文  参考訳（メタデータ） (2026-08-25T12:56:08Z)
• ToolRobustBench: Stage-Wise Perturbation Evaluation and Failure Diagnosis for Tool-Calling Agents [16.995082216096787]
  大規模言語モデルは基本的なエージェント機能としてツール呼び出しに依存している。 クリーンなエンドツーエンド(E2E)の成功は、ツール使用障害の発生場所や、呼び出しを通じてどのように伝播するかを特定できない。 ツールコールエージェントの段階的診断ベンチマークである ToolRobustBench を紹介する。
  論文  参考訳（メタデータ） (2026-08-23T15:22:49Z)
• Diagnosis Before Recovery: Turning Agent Failures into Selective Self-Correction [22.654396704495934]
  開発セット障害は、どのリカバリ介入が許容可能かを決定することにより、欠落診断基板の一部を回復することができる。 DARCは、タスクファミリー障害モードをプロファイリングし、共有リカバリライブラリから不正な介入を発生させ、検証者選択によるデプロイメント成功コストポリシーを凍結する、診断誘導型リカバリハーネスである。
  論文  参考訳（メタデータ） (2026-08-12T08:14:45Z)
• ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step [74.83535434786145]
  ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。 このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。 現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
  論文  参考訳（メタデータ） (2026-08-03T15:07:46Z)
• Can LLMs Really Recover Microservice Failures? A Recovery-Aware Evaluation of Diagnosis-to-Action Reasoning [48.22526014304726]
  本稿では,診断後インシデント応答に対するリカバリアクション評価フレームワークであるR2Actについて述べる。 R2Actはインシデントスキーマ、品質ゲート、アクション空間表現、リカバリ妥当性メトリクス、オフライン評価器、ライブ再生プロトコルを定義する。 システムから品質監査されたインシデント302件のベンチマークデータセットとして、このフレームワークをインスタンス化する。
  論文  参考訳（メタデータ） (2026-07-06T03:05:17Z)
• ReGRPO: Reflection-Augmented Policy Optimization for Tool-Using Agents [52.531681772560724]
  Supervised Fine-tuning (SFT) は主に軌道軌道上で構築されており、ツール故障後の回復のための信号はほとんど得られない。 ツール使用エージェントの反射誘導補正を学習するフレームワークであるReGRPOを紹介する。 GTAとGAIAの実験では、同じバックボーンとツールスイートの下で、ReGRPOは一貫して強力なオープンソースベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-06-30T09:19:38Z)
• Beyond Function Calling: Benchmarking Tool-Using Agents under Tool-Environment Unreliability [14.862168786900382]
  本稿では,信頼性評価のためのベンチマークであるToolBench-Xを紹介する。 クリーンなツール環境から始めると、ToolBench-Xは5つの構造化ハザードタイプを注入する。 信頼性のあるツールでうまく機能するエージェントは、回復可能なハザードの下で失敗することが多い。
  論文  参考訳（メタデータ） (2026-06-24T13:34:34Z)
• When Tools Fail: Benchmarking Dynamic Replanning and Anomaly Recovery in LLM Agents [48.32450507410869]
  既存のベンチマークでは、LLMにおけるツール統合推論を理想化された'ハッピーパス'に基づいて評価している。 我々はTIRエージェントの動的経路探索とエラー回復のためのベンチマークであるToolMazeを紹介する。
  論文  参考訳（メタデータ） (2026-06-04T07:38:46Z)
• Self-Healing Agentic Orchestrators for Reliable Tool-Augmented Large Language Model Systems [0.10210859604701106]
  セルフヒーリングエージェントオーケストレータは、信頼性をランタイム境界制御問題として扱う。 セルフヒーリングは98.8%のタスク成功を達成し、リトライオンリーでは94.5%、フルリプランでは93.8%を達成している。
  論文  参考訳（メタデータ） (2026-05-31T19:27:22Z)
• AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
  我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。 ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。 探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
  論文  参考訳（メタデータ） (2026-03-15T16:13:58Z)
• ToolMATH: A Math Tool Benchmark for Realistic Long-Horizon Multi-Tool Reasoning [11.99927786717109]
  ToolMATHは、数学の問題をツールセットによる制御された正当性チェック可能なベンチマークに変換する。 ToolMATHは、ツール拡張されたエージェントの障害モードの実行可能な診断証拠を提供する。
  論文  参考訳（メタデータ） (2026-02-24T09:23:12Z)
• Robust and Efficient Tool Orchestration via Layered Execution Structures with Reflective Correction [55.13278005189741]
  私たちは、高レベルのツール依存関係をキャプチャする階層化された実行構造を学ぶために、ツールオーケストレーションをモデル化します。 本稿では,局所的にエラーを検出し,修正するスキーマ対応反射補正機構を提案する。 この設計では、エラーを個々のツールコールに限定し、実行軌跡全体の再計画を避ける。
  論文  参考訳（メタデータ） (2026-02-21T22:20:01Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• Guardian: Detecting Robotic Planning and Execution Errors with Vision-Language Models [53.20969621498248]
  本稿では,多種多様な計画および実行障害を生成するために,軌道を手続き的に乱す自動ロボット故障合成手法を提案する。 RLBench-Fail, BridgeDataV2-Fail, UR5-Failの3つの新しい故障検出ベンチマークを構築した。 次に、詳細な障害推論と検出のためのマルチビューイメージを備えたVLMであるGuardianをトレーニングします。
  論文  参考訳（メタデータ） (2025-12-01T17:57:27Z)
• Just-in-time Episodic Feedback Hinter: Leveraging Offline Knowledge to Improve LLM Agents Adaptation [77.90555621662345]
  JEF Hinterは、オフライントレースをコンパクトでコンテキスト対応のヒントに蒸留するエージェントシステムである。 ズーム機構は、長い軌道における決定的なステップを強調し、戦略と落とし穴の両方をキャプチャする。 MiniWoB++、WorkArena-L1、WebArena-Liteの実験は、JSF Hinterが一貫して強力なベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2025-10-05T21:34:42Z)
• PALADIN: Self-Correcting Language Model Agents to Cure Tool-Failure Cases [2.3181214107210235]
  PALADINは、系統的な障害注入によって構築された5万以上のリカバリアノテーション付き軌道を走行する。 トレーニングでは、LoRAベースの微調整を使用して、回復能力を注入しながらベース能力を維持する。 このアプローチは、トレーニング分布を超えた新しい失敗に一般化する。
  論文  参考訳（メタデータ） (2025-09-25T10:37:30Z)
• Failure Makes the Agent Stronger: Enhancing Accuracy through Structured Reflection for Reliable Tool Interactions [10.598440138966028]
  現在の自己回帰のプラクティスは、プロンプトや一方的な推論に依存しています。 提案する構造的リフレクションは, エラーから修復までの経路を明示的で制御可能な, 訓練可能な動作に変換する。 BFCL v3とTool-Reflection-Benchの実験では、マルチターンツールコールの成功とエラー回復、冗長呼び出しの削減が大幅に向上した。
  論文  参考訳（メタデータ） (2025-09-23T09:35:49Z)
• A Comprehensive Benchmarking Analysis of Fault Recovery in Stream Processing Frameworks [1.3398445165628463]
  本稿では, クラウドネイティブ環境における障害復旧性能, 安定性, 回復時間に関する包括的解析を行う。 以上の結果から,Flinkは最も安定しており,最高の障害回復の1つであることが示唆された。 K Kafka Streamsは適切なフォールトリカバリパフォーマンスと安定性を示しているが、イベントレイテンシは高い。
  論文  参考訳（メタデータ） (2024-04-09T10:49:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。