論文の概要: ProRe: A Proactive Reward System for GUI Agents via Reasoner-Actor Collaboration

• arxiv url: http://arxiv.org/abs/2509.21823v1
• Date: Fri, 26 Sep 2025 03:29:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.157177
• Title: ProRe: A Proactive Reward System for GUI Agents via Reasoner-Actor Collaboration
• Title（参考訳）: ProRe:Reasoner-ActorコラボレーションによるGUIエージェントの能動的リワードシステム
• Authors: Gaole Dai, Shiqi Jiang, Ting Cao, Yuqing Yang, Yuanchun Li, Rui Tan, Mo Li, Lili Qiu,
• Abstract要約: ProReは汎用推論エージェントとドメイン固有評価エージェントを利用するプロアクティブ報酬システムである。 ProReは報酬精度を最大5.3%、F1スコアを19.4%向上させる。
• 参考スコア（独自算出の注目度）: 24.005812534024965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reward is critical to the evaluation and training of large language models (LLMs). However, existing rule-based or model-based reward methods struggle to generalize to GUI agents, where access to ground-truth trajectories or application databases is often unavailable, and static trajectory-based LLM-as-a-Judge approaches suffer from limited accuracy. To address these challenges, we propose ProRe, a proactive reward system that leverages a general-purpose reasoner and domain-specific evaluator agents (actors). The reasoner schedules targeted state probing tasks, which the evaluator agents then execute by actively interacting with the environment to collect additional observations. This enables the reasoner to assign more accurate and verifiable rewards to GUI agents. Empirical results on over 3K trajectories demonstrate that ProRe improves reward accuracy and F1 score by up to 5.3% and 19.4%, respectively. Furthermore, integrating ProRe with state-of-the-art policy agents yields a success rate improvement of up to 22.4%.
• Abstract（参考訳）: Rewardは、大規模言語モデル(LLM)の評価と訓練に不可欠である。 しかし、既存のルールベースやモデルベースの報酬手法はGUIエージェントへの一般化に苦慮しており、そこでは基底トラジェクトリやアプリケーションデータベースへのアクセスは利用できないことが多く、静的トラジェクトリベースのLSM-as-a-Judgeアプローチは限られた精度に悩まされている。 これらの課題に対処するために,汎用推論エージェントとドメイン固有評価エージェント(アクター)を活用したプロアクティブ報酬システムProReを提案する。 推論器はターゲット状態探索タスクをスケジュールし、評価器エージェントは環境とアクティブに相互作用して追加観測を収集する。 これにより、推論者はGUIエージェントにより正確で検証可能な報酬を割り当てることができる。 3K軌道での実証実験の結果、ProReは報酬精度を最大5.3%、F1スコアは19.4%向上した。 さらに、ProReと最先端の政策エージェントを統合することで、成功率は最大22.4%向上する。

関連論文リスト

• Online Process Reward Leanring for Agentic Reinforcement Learning [92.26560379363492]
  大規模言語モデル(LLM)は、強化学習(RL)を自律的なエージェントとして訓練されることが増えている。 最近の研究は、プロセスの監視をエージェント学習に統合しようと試みているが、バイアスドアノテーションに悩まされている。 エージェントRLの一般的なクレジットアサインメント戦略であるオンライン・プロセス・リワード・ラーニング(OPRL)を紹介する。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Stabilizing Long-term Multi-turn Reinforcement Learning with Gated Rewards [13.70228195630989]
  本稿では,マルチターンインタラクション,dockerベースの実行,カスタマイズ可能な報酬関数をサポートする統合システムであるSWE指向RLフレームワークを紹介する。 Gated Reward Accumulation (G-RA) も提案する。これは,高位(長期)の報酬が予め定義された閾値を満たす場合にのみ,即時報酬を蓄積する新しい手法である。
  論文  参考訳（メタデータ） (2025-08-14T11:37:02Z)
• Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
  軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。 提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-10T12:59:14Z)
• RRO: LLM Agent Optimization Through Rising Reward Trajectories [52.579992804584464]
  大規模言語モデル (LLM) は様々なタスクにおいて異常な性能を示した。 実際には、エージェントは特定の重要なステップの結果に敏感で、タスクを失敗する可能性がある。 この問題を軽減するために,Reward Rising Optimization (RRO)を提案する。
  論文  参考訳（メタデータ） (2025-05-27T05:27:54Z)
• VARP: Reinforcement Learning from Vision-Language Model Feedback with Agent Regularized Preferences [13.337649128532307]
  嗜好に基づくRLは、比較フィードバックから報酬を学ぶことによって、これらの落とし穴のいくつかを緩和する。 単一の最終状態の画像は、一般的にエージェントの完全な動きを捉えるのに失敗する。 本稿では,フィードバックの精度を向上し,報酬学習とエージェントのポリシーの整合性を向上する2部構成のソリューションを提案する。
  論文  参考訳（メタデータ） (2025-03-18T01:51:27Z)
• Distributional Reward Estimation for Effective Multi-Agent Deep Reinforcement Learning [19.788336796981685]
  実効的マルチエージェント強化学習(DRE-MARL)のための分散逆推定フレームワークを提案する。 本研究の目的は,安定トレーニングのための多行動分岐報酬推定と政策重み付け報酬アグリゲーションを設計することである。 DRE-MARLの優位性は,有効性とロバスト性の両方の観点から,SOTAベースラインと比較して,ベンチマークマルチエージェントシナリオを用いて実証される。
  論文  参考訳（メタデータ） (2022-10-14T08:31:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。