論文の概要: ProgRM: Build Better GUI Agents with Progress Rewards

• arxiv url: http://arxiv.org/abs/2505.18121v1
• Date: Fri, 23 May 2025 17:23:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.249663
• Title: ProgRM: Build Better GUI Agents with Progress Rewards
• Title（参考訳）: ProgRM: プログレッシブリワードによるより良いGUIエージェントの構築
• Authors: Danyang Zhang, Situo Zhang, Ziyue Yang, Zichen Zhu, Zihan Zhao, Ruisheng Cao, Lu Chen, Kai Yu,
• Abstract要約: 本稿では,オンライントレーニングの各段階におけるタスク完了の進捗を予測し,情報量の多い中間報酬を提供するプログレッシブ・リワード・モデル(ProgRM)を提案する。 ProgRMは広範な実験と分析によって評価されている。
• 参考スコア（独自算出の注目度）: 18.654776061354895
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based (Large Language Model) GUI (Graphical User Interface) agents can potentially reshape our daily lives significantly. However, current LLM-based GUI agents suffer from the scarcity of high-quality training data owing to the difficulties of trajectory collection and reward annotation. Existing works have been exploring LLMs to collect trajectories for imitation learning or to offer reward signals for online RL training. However, the Outcome Reward Model (ORM) used in existing works cannot provide finegrained feedback and can over-penalize the valuable steps in finally failed trajectories. To this end, we propose Progress Reward Model (ProgRM) to provide dense informative intermediate rewards by predicting a task completion progress for each step in online training. To handle the challenge of progress reward label annotation, we further design an efficient LCS-based (Longest Common Subsequence) self-annotation algorithm to discover the key steps in trajectories and assign progress labels accordingly. ProgRM is evaluated with extensive experiments and analyses. Actors trained with ProgRM outperform leading proprietary LLMs and ORM-trained actors, illustrating the effectiveness of ProgRM. The codes for experiments will be made publicly available upon acceptance.
• Abstract（参考訳）: LLM(Large Language Model) GUI(Graphical User Interface)エージェントは、私たちの日常生活を大きく変えることができます。 しかし、現在のLLMベースのGUIエージェントは、軌跡収集や報酬アノテーションの難しさにより、高品質なトレーニングデータの不足に悩まされている。 既存の研究は、模倣学習のための軌道収集やオンラインRLトレーニングのための報酬信号の提供のためにLLMを探索してきた。 しかし、既存の作業で使用されるアウトカム・リワード・モデル(ORM)は、きめ細かいフィードバックを提供することができず、最終的に失敗した軌跡において価値あるステップを過小評価することができる。 そこで本稿では,オンライントレーニングの各ステップにおけるタスク完了の進捗を予測し,情報量の多い中間報酬を提供するプログレッシブ・リワード・モデル(ProgRM)を提案する。 進行報酬ラベルアノテーションの課題に対処するため,より効率的なLCS(Longest Common Subsequence)自己アノテーションアルゴリズムを設計し,軌道上の重要なステップを発見し,それに応じて進行ラベルを割り当てる。 ProgRMは広範な実験と分析によって評価されている。 ProgRMで訓練されたアクターは、プロプライエタリなLLMやORM訓練アクターより優れており、ProgRMの有効性を示している。 実験のコードは受理時に公開されます。

関連論文リスト

• Boosting Virtual Agent Learning and Reasoning: A Step-wise, Multi-dimensional, and Generalist Reward Model with Benchmark [72.46357004059661]
  ステップワイドな多次元ジェネリスト・リワードモデルであるSimisalを提案する。 エージェントトレーニング用のきめ細かい信号を提供し、推論時間スケーリングのためのより良いアクションを選択することができる。 仮想エージェント領域の最初のベンチマークをステップワイドで多次元の報酬モデルトレーニングと評価のために導入する。
  論文  参考訳（メタデータ） (2025-03-24T13:30:47Z)
• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Process Reward Models for LLM Agents: Practical Framework and Directions [10.986389591866617]
  エージェントプロセス・リワード・モデル (AgentPRM) を導入する。 InversePRMを提案する。これは、明示的な結果の監督なしに、デモから直接プロセス報酬を学習する。 ALFWorldベンチマークで評価したところ、AgentPRMとInversePRMで訓練された3Bモデルは、強力なGPT-4oベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2025-02-14T17:34:28Z)
• Training Agents with Weakly Supervised Feedback from Large Language Models [19.216542820742607]
  本稿では,批判的LSMからの弱教師付き信号を用いたLSMエージェントの新しいトレーニング手法を提案する。 エージェントは反復的に訓練され、まず環境相互作用を通じて軌道を生成する。 API-bankデータセットのテストでは、エージェントの能力とGPT-4に匹敵するパフォーマンスが一貫して改善されている。
  論文  参考訳（メタデータ） (2024-11-29T08:47:04Z)
• Process Supervision-Guided Policy Optimization for Code Generation [15.943210767010045]
  単体テストフィードバックによる強化学習(RL)は、大規模言語モデルのLLM(LLM)コード生成を強化したが、完全なコード評価後にのみ提供されるスパース報酬に依存している。 本稿では,人間のコード修正を模倣したプロセス・リワード・モデル(PRM)を提案する。
  論文  参考訳（メタデータ） (2024-10-23T07:22:33Z)
• GenARM: Reward Guided Generation with Autoregressive Reward Model for Test-time Alignment [36.52424795446663]
  大きな言語モデル(LLM)は印象的な能力を示すが、人間の好みに注意深く対応する必要がある。 テストタイムアライメント手法は、報酬モデル(RM)を使用して凍結したLLMを再トレーニングせずにガイドすることでこの問題に対処する。 我々は、Autoregressive Reward Modelを活用するテスト時間アライメントアプローチであるGenARMを紹介する。
  論文  参考訳（メタデータ） (2024-10-10T17:58:24Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• A Review of Repository Level Prompting for LLMs [0.0]
  大規模言語モデル(LLM)は、HumanEvalベンチマークで94.6%の解決率を達成するなど、顕著な成功を収めている。 GitHub CopilotやTab Nineといったリポジトリレベルのインラインコード補完ツールの商用化が進んでいる。 本稿では,個々のコーディング問題からリポジトリスケールソリューションへの移行について述べる。
  論文  参考訳（メタデータ） (2023-12-15T00:34:52Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。