Fugu-MT 論文翻訳(概要): EvoCUA-1.5: Online Reinforcement Learning for Multi-turn Computer-Use Agents

論文の概要: EvoCUA-1.5: Online Reinforcement Learning for Multi-turn Computer-Use Agents

arxiv url: http://arxiv.org/abs/2607.09773v1
Date: Tue, 07 Jul 2026 16:36:25 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-14 15:40:48.189011
Title: EvoCUA-1.5: Online Reinforcement Learning for Multi-turn Computer-Use Agents
Title（参考訳）: EvoCUA-1.5:マルチターンコンピュータ利用エージェントのためのオンライン強化学習
Authors: Mianqiu Huang, Taofeng Xue, Chong Peng, Jinrui Ding, Sicheng Fan, Jiale Hong, Yufei Gao, Xiaocheng Zhang, Linsen Guo, Xin Yang, Dengchang Zhao, Yuchen Xie, Peng Pei, Xunliang Xie, Xipeng Qiu,
Abstract要約: EvoCUA-1.5は、オフライン体験からオンライン強化学習まで、自己進化するコンピュータ利用エージェントを拡張している。この設定でのオンラインRLは、シングルターン言語-RLレシピを直接再利用する以上のものを必要とします。
参考スコア（独自算出の注目度）: 37.78845989345579
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Computer-use agents must solve long-horizon tasks through repeated interaction with partially observable, multimodal desktop environments. Although imitation learning and offline trajectory refinement provide strong priors, static traces cannot cover the causal feedback loop of real computer use: each action changes the screen state, future action space, and recovery options. EvoCUA-1.5 extends self-evolving computer-use agents from offline experience learning to online reinforcement learning, where policies interact with executable sandbox environments and improve from verifiable task outcomes. Online RL in this setting requires more than directly reusing single-turn language-RL recipes. Multi-turn interaction introduces context-managed observations, sparse terminal rewards, variable-length trajectories, and slow environment feedback. EvoCUA-1.5 addresses these challenges with Step-Level Policy Optimization (STEPO), which preserves trajectory-level advantage balance after decomposition into step-level samples; policy-aware filtering and pass-rate calibration over verifiable synthesized tasks; Dynamic Tri-Adaptive Curriculum (DTAC), which combines learnable tasks, difficult positive replay, and controlled infeasible-task exposure; and a fully asynchronous RL infrastructure with staleness control and mini-group batching. Experiments show that these components improve training stability and downstream performance. EvoCUA-1.5 achieves 63.2\% success on OSWorld-Verified, outperforming comparable 32B/35B-scale open-weight baselines and even approaching models with significantly larger parameter counts. Overall, EvoCUA-1.5 provides a practical framework for scaling online RL in multi-turn computer-use agents.
Abstract（参考訳）: コンピュータ利用エージェントは、部分的に観察可能なマルチモーダルなデスクトップ環境との繰り返しの相互作用を通じて、長い水平タスクを解決しなければならない。模倣学習とオフライン軌道修正は強い先行性を提供するが、静的トレースは実際のコンピュータ使用の因果フィードバックループをカバーできない。 EvoCUA-1.5は、オフライン体験学習からオンライン強化学習まで、自己進化型のコンピュータエージェントを拡張し、ポリシーが実行可能なサンドボックス環境と相互作用し、検証可能なタスク結果から改善する。この設定でのオンラインRLは、シングルターン言語-RLレシピを直接再利用する以上のものを必要とします。マルチターンインタラクションでは、コンテキスト管理された観察、スパース端末報酬、可変長軌道、環境フィードバックが遅い。 EvoCUA-1.5はステップレベルポリシー最適化(STEPO)でこれらの課題に対処し、ステップレベルサンプルへの分解後の軌道レベルの優位性バランスを保ち、検証可能な合成タスクに対するポリシー対応のフィルタリングとパスレートのキャリブレーション、学習可能なタスク、困難なポジティブリプレイ、制御不能タスクの露光を組み合わせた動的トライアダプティブカリキュラム(DTAC)、安定度制御とミニグループバッチを備えた完全に非同期なRLインフラを設計した。実験によると、これらのコンポーネントはトレーニングの安定性と下流のパフォーマンスを改善する。 EvoCUA-1.5はOSWorld-Verifiedで63.2\%の成功を達成し、32B/35Bスケールのオープンウェイトベースラインを上回り、パラメータ数が大幅に大きいモデルにもアプローチした。全体として、EvoCUA-1.5はマルチターンコンピュータ使用エージェントでオンラインRLをスケールするための実践的なフレームワークを提供する。

論文の概要: EvoCUA-1.5: Online Reinforcement Learning for Multi-turn Computer-Use Agents

関連論文リスト