論文の概要: PRO-CUA: Process-Reward Optimization for Computer Use Agents

• arxiv url: http://arxiv.org/abs/2605.29119v1
• Date: Wed, 27 May 2026 21:28:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 05:02:24.548237
• Title: PRO-CUA: Process-Reward Optimization for Computer Use Agents
• Title（参考訳）: PRO-CUA: コンピュータ利用エージェントのプロセス・リワード最適化
• Authors: Yifei He, Rui Yang, Hao Bai, Tong Zhang, Han Zhao,
• Abstract要約: PRO-CUAは、コンピュータ使用エージェントを訓練するためのプロセス・リワード最適化フレームワークである。 政策最適化から政治環境の相互作用を分離する。 エージェント自身の実行状態のトレーニングによる分散シフトを低減する。
• 参考スコア（独自算出の注目度）: 25.2822788411397
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computer use agents (CUAs) have shown strong potential for automating complex digital workflows, yet their training remains constrained by costly live environment interaction and limited high-quality supervision. Existing filtered behavior cloning pipelines suffer from imitation bottlenecks, including distribution shift from the expert demonstration and the absence of negative learning signals. Meanwhile, standard trajectory-level reinforcement learning struggles with sparse rewards, ambiguous credit assignment, and high infrastructure costs for long-horizon GUI interaction. In this work, we propose PRO-CUA, a process-reward optimization framework for training CUAs with iterative step-level reinforcement learning. PRO-CUA decouples on-policy environment interaction from policy optimization: the current policy collects states through live rollouts, generates diverse candidate actions for each state, receives step-level feedback from a process reward model (PRM), and is optimized with group-relative advantages. This design enables dense and flexible credit assignment without relying on golden answers or offline expert trajectories, while reducing distribution shift by training on the agent's own execution states. Experiments on live web benchmarks demonstrate the effectiveness of PRO-CUA and the reliability of PRM-guided step-level training.
• Abstract（参考訳）: コンピュータ・ユース・エージェント(CUA)は複雑なデジタルワークフローを自動化する強力な可能性を示しているが、そのトレーニングはコストのかかる実環境の相互作用と高品質の監督によって制約されている。 既存のフィルタされた行動クローニングパイプラインは、専門家によるデモンストレーションからの分散シフトや負の学習信号の欠如など、模倣ボトルネックに悩まされている。 一方、標準軌跡レベルの強化学習は、スパース報酬、曖昧な信用割り当て、長期GUIインタラクションのための高いインフラコストに苦慮している。 本稿では,反復的なステップレベル強化学習を用いてCUAを学習するプロセス・リワード最適化フレームワークであるProp-CUAを提案する。 現在のポリシーは、ライブロールアウトを通じて状態を収集し、各状態に対する多様な候補アクションを生成し、プロセス報酬モデル(PRM)からステップレベルのフィードバックを受け取り、グループ相対的な利点で最適化されている。 この設計は、エージェント自身の実行状態のトレーニングによる分散シフトを低減しつつ、黄金の回答やオフラインの専門家軌道に頼ることなく、密度が高く柔軟なクレジット割り当てを可能にする。 実時間Webベンチマーク実験では, PRO-CUAの有効性とPRM誘導ステップレベルのトレーニングの信頼性が示された。

関連論文リスト

• Harnessing LLM Agents with Skill Programs [58.356514745548026]
  HASPは、実行可能なプログラム関数(PF)にスキルをアップグレードする新しいフレームワークです。 PFは障害が発生しやすい状態を起動し、次のアクションを変更したり、修正コンテキストを注入する実行可能なガードレールとして機能する。 HASPは、Web検索、数学推論、コーディングタスクにおいて、トレーニング不要とトレーニングベースの両方の手法と比較して、大幅に向上している。
  論文  参考訳（メタデータ） (2026-05-18T01:35:11Z)
• Value-Guidance MeanFlow for Offline Multi-Agent Reinforcement Learning [42.476656442284835]
  オフラインマルチエージェント強化学習(MARL)は、事前コンパイルされたデータセットから最適なジョイントポリシーを学ぶことを目的としている。 本稿では,シンプルなフローベースのポリシー学習フレームワークであるValue Guidance Multi-agent MeanFlow Policy (VGM$2$P)を提案する。 VGM$2$Pは、グローバルなアドバンテージ値を使用してエージェントの協調をガイドし、最適なポリシー学習を条件付き行動クローンとして扱う。
  論文  参考訳（メタデータ） (2026-04-09T12:31:43Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Curriculum Learning With Counterfactual Group Relative Policy Advantage For Multi-Agent Reinforcement Learning [15.539607264374242]
  マルチエージェント強化学習 (MARL) は, 協調的対人作業において高い性能を示した。 本稿では,自己適応型難易度調整機構を用いた動的カリキュラム学習フレームワークを提案する。 本手法はトレーニングの安定性と最終性能を両立させ,最先端の手法と競合する結果を得る。
  論文  参考訳（メタデータ） (2025-06-09T08:38:18Z)
• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。