論文の概要: UndoBench: Separating Task Competence from Recovery Capability in Tool-Using AI Agents

• arxiv url: http://arxiv.org/abs/2610.05622v1
• Date: Sun, 04 Oct 2026 23:36:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 12:27:46.835048
• Title: UndoBench: Separating Task Competence from Recovery Capability in Tool-Using AI Agents
• Title（参考訳）: UndoBench: ツール使用AIエージェントのリカバリ能力からタスク能力の分離
• Abstract要約: UndoBenchは8つのエンタープライズドメインにまたがる36のベースと36の障害シナリオにまたがるベンチマークです。 2つのオープンウェイトモデル、2つのフレームワーク、3つのリカバリパラダイムにまたがる12のホールドアウトTESTでは、名目上の能力は83.54%に達した。 商用APIモデルへの拡張は、この能力回復分離を再現した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tool-using AI agents are increasingly deployed across enterprise software systems, yet widely used benchmarks primarily evaluate nominal task completion, conflating baseline planning competence with operational fault recovery. We introduce UndoBench, a benchmark spanning 36 base workflows and 36 fault scenarios across 8 enterprise domains, decoupling task competence from recovery capability via counterfactual paired trials under identical seeds alongside wire-level effect-history and environment-state oracles. On 12 held-out TEST workflows across two open-weight models, two frameworks, and three recovery paradigms (5,760 executions / 2,880 paired trials) in the frozen lost-acknowledgment study, nominal competence reached 83.54% while conditional recovery success rate (CRSR) fell to 46.72%, with naive retry producing duplicate external effects in 53.33% of trials. Extensions to commercial API models reproduced this competence-recovery separation. Evaluations across complementary execution boundaries show that recovery is phase-dependent: before mutation, methods perform similarly without duplicate effects among capable trials; during partial mutation, naive retry, per-call idempotency, and zero-privilege journaling collapse on the evaluated composite workflows; after commit but before acknowledgment, verification and server-side idempotency substantially improve safety. These findings demonstrate that evaluating nominal completion alone masks critical, phase-dependent recovery vulnerabilities in autonomous agents.
• Abstract（参考訳）: ツールを使用するAIエージェントは、ますますエンタープライズソフトウェアシステムにデプロイされるようになっているが、広く使用されているベンチマークは、主に名目上のタスク完了を評価し、ベースライン計画能力と運用障害回復を混同している。 UndoBenchは、36のベースワークフローと36の障害シナリオにまたがるベンチマークで、8つのエンタープライズドメインにまたがる。 2つのオープンウェイトモデル、2つのフレームワーク、3つのリカバリパラダイム(5,760の実行と2,880のペアトライアル)にまたがる12の保持されたTESTワークフローでは、条件付きリカバリ成功率(CRSR)が46.72%に低下し、53.33%のトライアルで再現された外部効果が生み出され、名目上の能力は83.54%に達した。 商用APIモデルへの拡張は、この能力回復分離を再現した。 相補的実行境界における評価は、リカバリは相依存的であることを示している: 突然変異の前には、メソッドは有能な試行間で重複しない。部分的突然変異、単純再試行、呼び出しごとのイデオロピー、評価された複合ワークフローにおけるゼロ・プライベート・ジャーナリングの崩壊、コミット前ではなくコミット前、検証後、サーバ側のイデオロピエンスにより安全性が大幅に向上する。 以上の結果から, 自律エージェントの致命的, 位相依存的回復脆弱性を隠蔽する名目完遂のみを評価することが示唆された。

関連論文リスト

• Continuous Process-Level Evaluation for Evolving Enterprise AI Agent Skills [0.39508022083907385]
  結果レベルとプロセスレベルのチェックを組み合わせた継続的評価フレームワークを提案する。 我々は,2つのスキル,2つの仕様変種,2つのエージェントハーネス,3つのモデルに対する240の試行を評価した。
  論文  参考訳（メタデータ） (2026-10-01T15:06:23Z)
• Right Answers, Wrong States: Hidden Information Failures in Multi-Agent Collaboration [69.14904049421806]
  共同作業は、即時決定が正しい場合でも、腐敗した情報状態に置き去りにすることができる。 GPT、Gemini、Qwenモデル全体では、標準的なコラボレーションは、状態の信頼性よりもはるかに強力なタスクパフォーマンスを示している。 我々は、矛盾する証拠を解決し、共有された事実を検証し、信頼された国家を再構築するReGroundを紹介します。
  論文  参考訳（メタデータ） (2026-10-01T07:42:27Z)
• Recova: Agent-Guided Failure Recovery for Autonomous Robotic Manipulation [104.46042352396563]
  Recovaはエージェント誘導型フレームワークで、再構築されたデジタルツインでタスク実行とリカバリを共同で開発する。 双子では、エージェントは障害を診断し、修正プログラムをテストし、異なるポリシーのために正常なタスクとリカバリのロールアウトを収集する。 適切なリカバリが得られない場合、人間のデモによって障害が解決され、システムがリカバリ機能を拡張することができる。
  論文  参考訳（メタデータ） (2026-10-01T06:52:05Z)
• One Readout, Many Repairs: Diffusion-Guided Hierarchical Search for Tool-Agent Repair [14.373144574240165]
  本稿では,修復計算の削減を図り,ツールエージェントの故障復旧を改善するためのトレーニング不要な拡散誘導フレームワークを提案する。 ReCommitは、マスク付き言語モデルの単一並列読み出しから操作型スコアを再利用することにより、修復試験全体にわたって操作レベルの提案を補正する。 Agent-Diffベンチマークで4つのエンタープライズサービスにまたがる実際の障害に関する実験では、75.9%と63.2%の相対的な回復率が61.3%、51.3%の削減率を示した。
  論文  参考訳（メタデータ） (2026-09-28T10:57:16Z)
• Kintsugi-VLA: Turning Failed Robot Rollouts into Recovery Data through Interventional Recoverability [2.2935396753701065]
  Kintsugi-VLAは、失敗したロールアウトをターゲットとする合成リカバリデータに変換するフレームワークである。 Kintsugi-VLAは、失敗したシミュレータのロールアウトが、捨てられた経験から構造化されたリカバリトレーニングデータにどのように変換されるかを示した。
  論文  参考訳（メタデータ） (2026-09-25T09:42:20Z)
• Human-AI Collaboration for Multi-Line Task Adjustment Using Local Large Language Models and a Digital Twin [0.0]
  本研究では,局所的な大規模言語モデル,デジタルツイン,人的意思決定を統合したマルチラインタスク調整システムを提案する。 Propose-Verify-Decideワークフローオペレータの意図は、構造化された要件に変換し、一連の候補戦略を生成し、セマンティクス、シミュレーション実行、運用上の制約をチェックする。 この結果は、トレーサブルな戦略レビューワークフローを示しているが、全体的な信頼性や長期的な安定性は確立していない。
  論文  参考訳（メタデータ） (2026-09-24T05:48:53Z)
• Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
  既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。 我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。 我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
  論文  参考訳（メタデータ） (2026-08-14T07:26:38Z)
• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback [54.39884046754265]
  RetroAgentは、エージェントが複雑なインタラクティブ環境をマスターできるオンラインRLフレームワークである。 実験の結果,RetroAgentはSOTA(State-of-the-art)の性能を達成できた。
  論文  参考訳（メタデータ） (2026-03-09T16:23:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。