論文の概要: CUA-Recovery: Benchmarking Error Recovery in Long-Horizon Computer-Use Agents
- arxiv url: http://arxiv.org/abs/2610.27645v1
- Date: Tue, 20 Oct 2026 05:06:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.657852
- Title: CUA-Recovery: Benchmarking Error Recovery in Long-Horizon Computer-Use Agents
- Title（参考訳）: CUA-Recovery: 長期コンピュータ利用エージェントにおけるベンチマークエラー回復
- Abstract要約: コンピュータ利用エージェント(CUA)が長い水平地平線に移動すると、検出されていないエラーは静かに永続状態を破損し、その後の動作でカスケード障害を引き起こす。
既存のベンチマークは主にエンドツーエンドのタスクパフォーマンスに重点を置いており、エージェントが実行中にエラーを検出してリカバリできるかどうかについて限定的な洞察を提供する。
CUA-Recoveryは、複数のデスクトップアプリケーションにまたがるテストスイートとトレーニングスイートを組み合わせたベンチマークである。
- 参考スコア（独自算出の注目度）: 26.827955737935113
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As computer-use agents (CUAs) move to long-horizon workflows spanning multiple applications, undetected errors can silently corrupt persistent state and cause cascading failures in subsequent actions. Reliable error detection and recovery have become critical bottlenecks for building robust CUAs. However, existing benchmarks focus primarily on end-to-end task performance, providing limited insight into whether agents can detect and recover from errors during execution. The few benchmarks that evaluate recovery rely largely on manually injected errors, which may not reflect the types or horizons of failures induced by real agent policies. We introduce CUA-Recovery, a benchmark comprising test and training suites across multiple desktop applications. We construct it using ReRail, a framework for synthesizing long-horizon tasks and trajectories in a persistent desktop environment. ReRail composes MyPCBench tasks into new long-horizon workflows with executable ground truth, collects verifier-confirmed failures from multiple policies, and turns them into verified recovery trajectories. CUA-Recovery comprises a human-verified test suite of 2,250 erroneous states over 100 tasks and a training suite of 8.6K trajectories over 377 tasks. Evaluation on the test suite shows that agents struggle both to recognize inherited errors and to complete the task. Across six agents and six takeover depths, Error Awareness Rate (EAR) reaches at most 44.0% and Pass@3 at most 25.5%. After fine-tuning Qwen3.5-35B-A3B on the training suite, its average EAR rises from 19.9% to 35.2% on held-out recovery states, and its Rubric Score goes from 5.0% to 16.1%. It also gains 15.3 points on MyPCBench and 10.8 points on Odysseys for Pass@3, showing that the training trajectories help both with recovery and with completing tasks from a clean start. Our code is available at https://github.com/xu-hu-2002/CUA-Recovery.
- Abstract（参考訳）: コンピュータ利用エージェント(CUA)が複数のアプリケーションにまたがる長期ワークフローに移行すると、検出されていないエラーが静かに永続状態を破損し、その後の動作でカスケード障害を引き起こす可能性がある。
信頼性の高いエラー検出とリカバリは、堅牢なCUAを構築する上で重要なボトルネックとなっている。
しかし、既存のベンチマークは主にエンドツーエンドのタスクパフォーマンスに焦点を当てており、エージェントが実行中にエラーを検出してリカバリできるかどうかについて限定的な洞察を提供する。
回復を評価する数少ないベンチマークは、手動で注入されたエラーに大きく依存しており、実際のエージェントポリシーによって引き起こされる障害のタイプや地平線を反映していない可能性がある。
CUA-Recoveryは、複数のデスクトップアプリケーションにまたがるテストスイートとトレーニングスイートを組み合わせたベンチマークである。
ReRailは長期のタスクとトラジェクトリを永続的なデスクトップ環境で合成するフレームワークである。
ReRailは、MyPCBenchタスクを実行可能土台真理で新しいロングホライズンワークフローに構成し、検証済みの失敗を複数のポリシーから収集し、それらを検証されたリカバリトラジェクトリに変換する。
CUA-Recoveryは、100以上のタスクで2,250の誤った状態の人間検証テストスイートと、377以上のタスクで8.6K軌道のトレーニングスイートで構成されている。
テストスイートの評価は、エージェントが継承されたエラーを認識し、タスクを完了するのに苦労していることを示している。
6つのエージェントと6つの乗っ取り深さで、エラー認識率(EAR)は44.0%、Pass@3は25.5%に達する。
トレーニングスイートでQwen3.5-35B-A3Bを微調整した後、平均EARは19.9%から35.2%に上昇し、ルーブリックスコアは5.0%から16.1%に上昇した。
また、MyPCBenchで15.3ポイント、Pass@3でOdysseysで10.8ポイントを獲得した。
私たちのコードはhttps://github.com/xu-hu-2002/CUA-Recovery.comで公開されています。
関連論文リスト
- Long-Horizon-Terminal-Bench 2.0: Automating Diverse Task Construction and Measuring Sustained Agent Progress [59.76726249334829]
本稿では,LHTB 2.0(Long-Horizon-Terminal-Bench 2.0)について述べる。
LHTB 2.0は46のタスクを保存し、タスクと評価インフラの欠陥を修正し、31のタスクを拡張する。
拡張されたタスクは、体系的な再構築タスクパイプラインを通じて生成される。
論文 参考訳（メタデータ） (2026-10-09T15:22:53Z) - AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks [67.28108897589799]
AgentHorizonは、1,373のコンピュータ利用タスクのベンチマークである。
同様の(しかし互換性のない)要求を完了したのと、成功した軌道を区別する能力について、審査員を評価した。
我々の最高のエージェント・ジャッジであるGPT-5.5は、AHサブセット上で80.9%のバランスの取れた精度を達成する。
論文 参考訳（メタデータ） (2026-10-08T01:03:48Z) - Loud Failures, Quiet Failures: Fault Detection and Recovery in Tool-Using Language Model Agents [0.0]
我々は、ツールが明示的なエラーを返す場合の91.3%の試験において、エージェントが障害を問題として扱うことを示したが、その58.8%の試験では、それが妥当な間違った値を返す。
兄弟姉妹に対してペアを組むと(-9.3点、p .001)、変更計画がさらに(+10.4点、p .001)、回復は変化しない(p =.512)。
障害後、エージェントは同じツールに最大22.2%の試験で3回以上連続して戻るが、正確に同じ繰り返しはまれである。
論文 参考訳（メタデータ） (2026-10-07T13:29:59Z) - Recova: Agent-Guided Failure Recovery for Autonomous Robotic Manipulation [104.46042352396563]
Recovaはエージェント誘導型フレームワークで、再構築されたデジタルツインでタスク実行とリカバリを共同で開発する。
双子では、エージェントは障害を診断し、修正プログラムをテストし、異なるポリシーのために正常なタスクとリカバリのロールアウトを収集する。
適切なリカバリが得られない場合、人間のデモによって障害が解決され、システムがリカバリ機能を拡張することができる。
論文 参考訳（メタデータ） (2026-10-01T06:52:05Z) - Cross-Benchmark Transfer from RL on Agentic Coding Tasks [0.13579757545152057]
多くの場合、コーディングエージェントは最後の1マイルで失敗する。機能の大部分を構築し、要件をドロップし、実装がすでに処理しているケースのみをテストし、無傷であるはずの動作を壊したり、未確認の仮定に対して検証する。
専門家が構築したエージェントコーディングタスクの強化学習がこのギャップを埋めるか、エージェントが学習するものがトレーニング分布を超えるのかを問う。
我々は,隠れフェール・ツー・パステストとパス・ツー・パステストによって評価された1,700のタスクと,専門家が書いた隠れバリデーションによって評価された700の端末タスクについて,Kim K2.7コードをポストトレーニングした。
論文 参考訳（メタデータ） (2026-10-01T01:12:24Z) - ClawProBench: Trace-Aware Evaluation of AI Agents with Runtime Coverage and Frozen Workplace-Style Holdouts [0.0]
エージェントベンチマークは、エージェントがステートフルランタイム上で実行されている場合でも、最終回答のみを評価することが多い。
OpenClaw上でインスタンス化されたランタイムネイティブエージェント評価のためのトレース対応ベンチマークであるClawProBenchを提案する。
論文 参考訳（メタデータ） (2026-08-23T17:09:02Z) - FailForge: Distilling Procedural Competence from Persistent Failures into Code Agents [49.519184792774304]
FailForgeは、失敗したロールアウトをトレーニングシグナルに変換するエージェントフレームワークである。
FailForgeは、これまで失敗したインスタンスの26%を、限界的な追加コストでリカバリする。
論文 参考訳（メタデータ） (2026-08-09T08:22:57Z) - ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment [66.45065414461274]
ロングホライゾン検索エージェントは、最終的な答えを得るために証拠を検索、検索、検証、統合するための複数のシーケンシャルなアクション(ステップ)をしなければならない。
本稿では,長距離検索エージェントを訓練するためのきめ細かい信用割当てフレームワークであるAnswer-Backtracked Credit Assignment (ABC)を提案する。
ABCは、スパース軌跡レベルの結果を、誤動作や冗長な動作を抑えながら、有用な動作(たとえ軌道が失敗しても)を報いるような、密度の高いステップレベルの監視に変換する。
論文 参考訳（メタデータ） (2026-08-05T17:41:31Z) - AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。
Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。
コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
論文 参考訳（メタデータ） (2026-07-21T06:21:13Z) - SKILL.nb: Selective Formalization and Gated Execution for Durable Agent Workflows [16.693609667845948]
SKILL.nbは,エビデンス・リバース・キャリブレーションによるライフサイクルポリシーによる再利用可能なエージェント管理のためのフレームワークである。
SKILL.nbは選択的な形式化を使用する: 実行はどのワークフローステップを実行可能なコードにするかを決定する。
ゲート条件付き実行では、各ステップがゲートの検証時にコードを実行したり、ドリフトが実行可能実現を無効にした場合にローカルにフォールバックすることが可能になる。
論文 参考訳（メタデータ） (2026-06-06T08:27:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。