論文の概要: Adaptive-Group Process Rewards for GUI Agents

• arxiv url: http://arxiv.org/abs/2610.17710v1
• Date: Tue, 13 Oct 2026 04:37:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.508139
• Title: Adaptive-Group Process Rewards for GUI Agents
• Title（参考訳）: GUIエージェントのためのアダプティブ・グループ・プロセス・リワード
• Abstract要約: 強化学習によるグラフィカルユーザインタフェース(GUI)エージェントの訓練は、少ない結果報酬に悩まされ、非効率な学習につながる。 本稿では,GUI軌道を意味的に一貫性のあるサブゴール群に動的に分割する適応群プロセス報酬フレームワークを提案する。 プロセス報酬ベンチマークと下流RLトレーニングの実験は、提案フレームワークの有効性を実証している。
• 参考スコア（独自算出の注目度）: 40.53437875456334
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training graphical user interface (GUI) agents with reinforcement learning suffers from sparse outcome rewards, leading to inefficient learning. Process rewards offer a promising direction for credit assignment to intermediate actions; however, accurately evaluating an action requires identifying evidence across long-horizon GUI trajectories, as its value may depend on information beyond its immediate state and observation. In this paper, we propose an adaptive-group process reward framework that dynamically partitions a GUI trajectory into semantically coherent subgoal groups, enabling process reward estimation at both the action and group levels. At the action level, a critic evaluates each action based on the visual changes and subsequent actions within the group for action correctness and contribution to the subgoal. At the group level, the framework aggregates action-level evaluations to assess subgoal completion and contribution to the overall task, and further refines these assessments by leveraging the context of all groups in the trajectory. The process reward of each action is obtained by combining its action-level evaluation with the refined group-level evaluation. We further augment GRPO's outcome advantage with the proposed process rewards to provide finer-grained guidance for GUI agent training. Experiments on process reward benchmarks and downstream RL training demonstrate the effectiveness of the proposed framework.
• Abstract（参考訳）: 強化学習によるグラフィカルユーザインタフェース(GUI)エージェントの訓練は、少ない結果報酬に悩まされ、非効率な学習につながる。 プロセス報酬は、中間的行動に対する信用割当のための有望な方向を提供するが、その価値は、その即時状態や観察以上の情報に依存する可能性があるため、アクションを正確に評価するには、長期にわたるGUI軌跡をまたいで証拠を特定する必要がある。 本稿では,GUI軌道を意味的に一貫性のあるサブゴールグループに動的に分割し,動作レベルとグループレベルのプロセス報酬推定を可能にする適応グループプロセス報酬フレームワークを提案する。 行動レベルでは、批評家はグループ内の視覚的変化とその後の行動に基づいて各行動を評価する。 グループレベルでは、このフレームワークは行動レベルの評価を集約し、サブゴールの完了と全体のタスクへの貢献を評価し、軌跡内のすべてのグループのコンテキストを活用することにより、これらの評価をさらに洗練する。 各アクションのプロセス報酬は、そのアクションレベル評価と洗練されたグループレベル評価を組み合わせることで得られる。 提案したプロセス報酬によるGRPOの結果の優位性をさらに強化し、GUIエージェントトレーニングのより詳細なガイダンスを提供する。 プロセス報酬ベンチマークと下流RLトレーニングの実験は、提案フレームワークの有効性を実証している。

関連論文リスト

• PTGPO: Prefix Tree Group Policy Optimization [12.483893682648272]
  終末報酬が中間行動に対して弱い信用信号を提供するため、長期的対話タスクにおける言語エージェントの訓練は困難である。 本稿では, アンカー状態群内の軌道接尾辞に代えてプレフィックス木群ポリシー最適化(PTGPO)を提案する。 ALFWorld、WebShop、Sokobanのインタラクティブベンチマークの実験では、PTGPOはRLベースラインよりも一貫して改善されており、その有効性を示している。
  論文  参考訳（メタデータ） (2026-10-10T08:57:33Z)
• SkillRubric: Co-Evolving Actor Guidance and Evaluator Rubrics for Multimodal Agents [36.892034513729804]
  SkillRubricを導入し、アクター向けガイダンスと評価器向けルーブリックを用いて各スキルを表現した。 マルチモーダル検証器は、スクリーンショットとツールアウトプットを使用してスキル定義目標を評価し、完了と進捗の報酬を責任あるターンに割り当てる。 多様なマルチモーダルエージェントベンチマークによる実験は、一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2026-09-28T08:14:18Z)
• Reinforcement Learning for Computer-Use Agents with Autonomous Evaluation [15.119045051735633]
  自律的な視覚言語評価をGUIエージェントのスケーラブルな監視信号として利用するRLファインチューニングフレームワークを提案する。 自律評価器は不完全であるため、ノイズ補正報酬推定器を導出するノイズ補正報酬チャネルとしてフィードバックをモデル化する。 実験により、補正された評価器の報酬はゼロショットベースラインと生評価器の報酬の両方を上回り、ゼロショット性能で平均12.6ポイント、生評価器の微調整で平均5.1ポイントの成功率を向上させることが示された。
  論文  参考訳（メタデータ） (2026-06-23T12:46:29Z)
• CRAFT-GUI: Curriculum-Reinforced Agent For GUI Tasks [11.121687042616974]
  Reinforcement Learning (RL) は動的対話型GUI環境においてエージェントのパフォーマンスを効果的に向上させる。 ほとんどのアプローチはタスク固有のニュアンスを1つの粗い報酬に分解し、エージェントに非効率なポリシー更新をもたらす均一な信号を残す。 我々は,グループ相対政策最適化(GRPO)に基づくカリキュラム学習フレームワークであるCRAFT-GUIを提案する。
  論文  参考訳（メタデータ） (2025-08-15T09:55:02Z)
• Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
  軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。 提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-10T12:59:14Z)
• XBOUND: Exploring Capability Boundaries of Device-Control Agents at the State Level [43.73689966281675]
  Device-Control Agents(DCエージェント)はグラフィカルユーザインタフェース(GUI)を管理する 状態ごとの命令完了の精度を評価するための新しい評価手法 XBOUND を提案する。 UI-TARSは最強の7Bモデルであり、現在のエージェントは命令統一においてバイモーダルなパフォーマンスパターンを示し、サブ7Bモデルは状態熟達において制限されている。
  論文  参考訳（メタデータ） (2025-05-27T14:49:30Z)
• Watch Every Step! LLM Agent Learning via Iterative Step-Level Process Refinement [50.481380478458945]
  反復的なステップレベルプロセスリファインメント(IPR)フレームワークは、エージェントトレーニングを強化するためのステップバイステップのガイダンスを提供する。 3つの複雑なエージェントタスクに関する我々の実験は、我々のフレームワークが様々な強力なベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-17T03:29:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。