論文の概要: Lost in Recovery: Demystifying Recovery Behavior of Computer-Use Agents via Goal-Oriented Action Replay

• arxiv url: http://arxiv.org/abs/2610.27954v1
• Date: Tue, 20 Oct 2026 09:59:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.757638
• Title: Lost in Recovery: Demystifying Recovery Behavior of Computer-Use Agents via Goal-Oriented Action Replay
• Title（参考訳）: 回復の損失:ゴール指向のアクション・リプレイによるコンピュータ・ユース・エージェントの復調行動
• Abstract要約: 本稿では,コンピュータ利用エージェントの回復行動を研究するためのスケーラブルな評価フレームワークReTraceを提案する。 我々は、制御されたエラーインジェクションの後にゴール指向のアクションリプレイによって、この基準を運用する。 ReTraceを用いて、自律型モデルベースリカバリに関する最初の体系的研究を行う。
• 参考スコア（独自算出の注目度）: 63.05870209824107
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in large (vision) language models have enabled computer-use agents that automate digital workflows via fine-grained keyboard and mouse operations. However, such agents remain fragile in long-horizon settings, where errors accumulate and executed actions leave unintended side effects, making the ability to recover from failures critical. Yet, existing remedies remain inadequate: environment resets are infeasible in proprietary settings, action replay is prohibitively expensive over long horizons, and API-based rollback is limited to web environments, leaving model-based recovery largely unexplored. To address this gap, we present ReTrace, a scalable evaluation framework for systematically studying recovery behavior in computer-use agents. We formalize Transition-Consistent Recovery: identical downstream actions from the recovered and target states must yield identical outcomes. We operationalize this criterion through goal-oriented action replay following controlled error injection. Using ReTrace, we present the first systematic study of autonomous, model-based recovery, revealing that (i) ideal recovery can unlock model's latent task completion capabilities, (ii) current computer-use agents fail to exploit their latent recovery capabilities, and (iii) accurate model-based recovery yields measurable end-to-end gains. Together, these findings establish recovery as a fundamental capability for building reliable computer-use agents. Our code and dataset is available at https://github.com/BangProx/ReTRACE.
• Abstract（参考訳）: 大規模(ビジョン)言語モデルの最近の進歩は、きめ細かいキーボードとマウス操作によってデジタルワークフローを自動化するコンピュータ利用エージェントを可能にしている。 しかし、このようなエージェントは、エラーが蓄積され、実行されたアクションが意図しない副作用を残し、障害から回復する能力が重要になるような、長期にわたる設定では脆弱なままである。 環境リセットはプロプライエタリな設定では実現不可能であり、アクションリプレイは長期にわたって違法に高価であり、APIベースのロールバックはWeb環境に限られており、モデルベースのリカバリはほとんど調査されていない。 このギャップに対処するために、コンピュータ利用エージェントの回復挙動を体系的に研究するスケーラブルな評価フレームワークReTraceを提案する。 我々はトランジッション・コンスタント・リカバリ(Transition-ConsistentRecovery)を定式化する。 我々は、制御されたエラーインジェクションの後にゴール指向のアクションリプレイによって、この基準を運用する。 ReTraceを用いて、自律型モデルベースリカバリに関する最初の体系的研究を行い、それを明らかにした。 i) 理想的なリカバリは、モデルの潜在タスク完了機能をアンロックすることができる。 (二)現在のコンピュータ利用エージェントは、その潜伏回復能力を利用しず、 三 モデルに基づく正確な回復は、測定可能なエンドツーエンドの利得をもたらす。 これらの知見は、信頼性の高いコンピュータ利用エージェントを構築するための基本的な能力として、リカバリを確立している。 私たちのコードとデータセットはhttps://github.com/BangProx/ReTRACE.comで公開されています。

関連論文リスト

• CARE: Experience-Guided Atomic Corrective Execution for Vision-Language-Action Policies [52.32735203969873]
  VLA(Vision-Language-Action)ポリシーは、ロボット操作において強力なパフォーマンスを達成するが、実行が名目上の軌道から逸脱した後も不安定なままである。 本稿では,実行時に発生する障害から学習することで回復を改善するフレームワークであるCARE(Corrective Atomic Robotic Execution)を提案する。
  論文  参考訳（メタデータ） (2026-09-21T05:14:34Z)
• EgoRecovery: Acquiring Failure Recovery Ability Through Human Recovery Demonstration [75.13534797264485]
  我々は,ロボット遠隔操作に代わるスケーラブルな代替手段として,自己中心型ヒューマンデータキャプチャー障害回復プロセスが提供されることを示した。 タスクレベルの障害設定を効率的にアレンジし、短いリカバリセグメントを記録することで、人間のオペレータは1時間あたりの有効なリカバリデータの10倍以上のデータを生成できる。
  論文  参考訳（メタデータ） (2026-07-22T04:44:26Z)
• RePO-VLA: Recovery-Driven Policy Optimization for Vision-Language-Action Models [90.39703013636868]
  RePO-VLAは、リカバリ駆動のポリシー最適化フレームワークである。 成功、回復、失敗の軌跡に異なる役割を割り当てる。 対人的な成功は、平均で20%から75%、実世界の規模で80%まで上昇する。
  論文  参考訳（メタデータ） (2026-05-10T08:24:05Z)
• Human-Guided Harm Recovery for Computer Use Agents [7.834133575906748]
  LMエージェントは、実際のコンピュータシステムでアクションを実行する能力を得る。 我々は、大規模に有害な行為を予防するだけでなく、予防に失敗した場合の害を効果的に軽減する方法が必要である。 我々は, ポストエグゼクティションの安全対策におけるこの無視された課題に対する解決策を, 損害回復として定式化する。
  論文  参考訳（メタデータ） (2026-04-20T21:12:40Z)
• ARES: Scalable and Practical Gradient Inversion Attack in Federated Learning through Activation Recovery [73.8181449261685]
  Federated Learning(FL)は、モデルの更新を生データではなく共有することで、ユーザのプライバシ保護を目的としたコラボレーションモデルトレーニングを可能にする。 最近の研究によると、これらの共有更新は、勾配反転攻撃(GIA)を通じて、不注意にセンシティブなトレーニングデータを漏洩する可能性がある。
  論文  参考訳（メタデータ） (2026-03-18T11:40:44Z)
• LaMOuR: Leveraging Language Models for Out-of-Distribution Recovery in Reinforcement Learning [16.093659272414527]
  本稿では,不確実性推定に頼らずに回復学習を可能にするLaMOuR(Language Models for Out-of-Distriion Recovery)を提案する。 LaMOuRは、エージェントを元のタスクを成功させる状態に誘導する高密度な報酬コードを生成する。 実験の結果,LaMOuRは様々な移動課題における回復効率を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2025-03-21T13:20:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。