論文の概要: GSAR: Goal-State-Anchor Rewards for Mobile GUI Agents with Self-Evolving Data Synthesis
- arxiv url: http://arxiv.org/abs/2608.22847v1
- Date: Mon, 24 Aug 2026 06:27:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 18:24:36.990481
- Title: GSAR: Goal-State-Anchor Rewards for Mobile GUI Agents with Self-Evolving Data Synthesis
- Title（参考訳）: GSAR: 自己進化型データ合成による移動体GUIエージェントの目標状態アンカーリワード
- Abstract要約: GSAR(Goal-State-Anchor Reward)は、スケーラブルなタスク生成をサポートし、信頼できる報酬信号を提供するRL報酬フレームワークである。
本フレームワークは,オフライン軌道検証において90%以上の精度を達成し,ルールベース手法に最も近い性能を実現する。
- 参考スコア（独自算出の注目度）: 42.18402261450695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language Models (VLMs) based GUI agents stand to benefit significantly from online reinforcement learning (RL). However, their training is bottlenecked by two fundamental issues: current data synthesis methods for GUI Agents rely on specific environments and struggle to generate diverse data, while existing evaluators either suffer from limited scalability or provide inaccurate and unreliable reward signals. To overcome these challenges, we introduce GSAR (Goal-State-Anchor Reward), a RL reward framework that supports scalable task generation and delivers reliable reward signals for stable and efficient policy optimization. Our approach features self-evolving data synthesis, which produces multiple environments through task execution and generates diverse tasks and goal states. Complementing this, a state-anchor mechanism automatically annotates task-relevant UI elements in successful goal states as reference anchors. During RL training, these reference anchors provide accurate, scalable reward signals that substantially enhance efficiency. Extensive evaluations demonstrate that our framework achieves over 90% accuracy on offline trajectory verification and performs closest to rule-based methods. Furthermore, agents trained using our reward framework exhibit strong performance on both AndroidWorld and our constructed benchmark, establishing a scalable approach for GUI agent training.
- Abstract（参考訳）: VLM(Vision-Language Models)ベースのGUIエージェントは、オンライン強化学習(RL)から大きな恩恵を受ける。
GUIエージェントの現在のデータ合成方法は、特定の環境に依存し、多様なデータを生成するのに苦労する。
これらの課題を克服するために、スケーラブルなタスク生成をサポートし、安定かつ効率的なポリシー最適化のための信頼性の高い報酬信号を提供するRL報酬フレームワークであるGSAR(Goal-State-Anchor Reward)を導入する。
本手法は,タスク実行を通じて複数の環境を生成し,多様なタスクや目標状態を生成する自己進化型データ合成を特徴とする。
これを補完するステートアンカー機構は、成功しているゴール状態のタスク関連UI要素を参照アンカーとして自動的に注釈付けする。
RLトレーニング中、これらの基準アンカーは正確でスケーラブルな報酬信号を提供し、効率を大幅に向上させる。
大規模な評価により,本フレームワークはオフライン軌道検証において90%以上の精度を達成し,ルールベース手法に最も近い性能を発揮することが示された。
さらに、AndroidWorldと構築したベンチマークの両方において、報酬フレームワークを使用してトレーニングされたエージェントが強力なパフォーマンスを示し、GUIエージェントトレーニングのためのスケーラブルなアプローチを確立した。
関連論文リスト
- Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。
本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。
我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
論文 参考訳（メタデータ） (2026-06-05T15:09:52Z) - GUI Agents with Reinforcement Learning: Toward Digital Inhabitants [21.438394192355407]
本稿では RL と GUI エージェントの交点について概観する。
既存の手法をオフラインRL,オンラインRL,ハイブリッド戦略に整理する原則的分類法を提案する。
これらの知見を,プロセス報酬,継続RL,認知アーキテクチャ,安全なデプロイメントといったロードマップに要約する。
論文 参考訳（メタデータ） (2026-04-30T14:51:49Z) - Towards Agentic Self-Learning LLMs in Search Environment [36.158823302039195]
自己学習が人間の計算したデータセットや事前定義されたルールベースの報酬に頼ることなく、LSMベースのエージェントをスケールできるかどうかを検討する。
生成的リワードモデル(GRM)の報酬は、オープンドメイン学習のための厳密なルールベースの信号より優れている。
完全閉ループ・マルチロール強化学習フレームワークである textbfAgentic Self-Learning (ASL) を提案する。
論文 参考訳（メタデータ） (2025-10-16T03:11:56Z) - Efficient Multi-turn RL for GUI Agents via Decoupled Training and Adaptive Data Curation [65.3648667980258]
視覚言語モデル(VLM)に基づくGUIエージェントは複雑なタスクの自動化を約束するが、強化学習(RL)の適用において大きな課題に直面している。
異種モジュールを高度に非結合的に協調するGUIエージェントのための非結合エージェントRLトレーニングフレームワークであるDARTを提案する。
OSWorldのベンチマークでは、DART-GUI-7Bは42.13%のタスク成功率、14.61%の絶対ゲイン、オープンソースSOTAよりも7.34%高い。
論文 参考訳（メタデータ） (2025-09-28T13:19:20Z) - Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。
我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。
我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
論文 参考訳（メタデータ） (2025-09-23T16:15:42Z) - Orcust: Stepwise-Feedback Reinforcement Learning for GUI Agent [12.334063115362758]
Orcust は Principle-Constrained Reward Modeling と Online VM-Grounded Trajectory Construction を統合したフレームワークである。
OVTCは機器化された仮想マシンをスピンアップして、構造化GUIインタラクション軌跡を自律的に収集する。
論文 参考訳（メタデータ） (2025-09-22T15:40:31Z) - CRAFT-GUI: Curriculum-Reinforced Agent For GUI Tasks [11.121687042616974]
Reinforcement Learning (RL) は動的対話型GUI環境においてエージェントのパフォーマンスを効果的に向上させる。
ほとんどのアプローチはタスク固有のニュアンスを1つの粗い報酬に分解し、エージェントに非効率なポリシー更新をもたらす均一な信号を残す。
我々は,グループ相対政策最適化(GRPO)に基づくカリキュラム学習フレームワークであるCRAFT-GUIを提案する。
論文 参考訳（メタデータ） (2025-08-15T09:55:02Z) - UI-Genie: A Self-Improving Approach for Iteratively Boosting MLLM-based Mobile GUI Agents [37.871793585090586]
GUIエージェントにおける2つの重要な課題に対処する自己改善フレームワークであるUI-Genieを紹介する。
軌道結果の検証は困難であり、高品質なトレーニングデータはスケーラブルではない。
UI-Genieは複数のGUIエージェントベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2025-05-27T17:58:06Z) - ARPO:End-to-End Policy Optimization for GUI Agents with Experience Replay [88.74638385288773]
Agentic Replay Policy Optimizationは、複雑で長期のコンピュータタスクのパフォーマンスを改善する。
本稿では,ベースラインエージェントの性能に基づいてタスクをフィルタリングするタスク選択戦略を提案する。
OSWorldベンチマークの実験では、ARPOが競争結果を達成することを示した。
論文 参考訳（メタデータ） (2025-05-22T06:24:32Z) - OS-Genesis: Automating GUI Agent Trajectory Construction via Reverse Task Synthesis [55.390060529534644]
グラフィカルユーザインタフェース(GUI)エージェントのための新しいデータ合成パイプラインであるOS-Genesisを提案する。
事前に定義されたタスクに頼る代わりに、OS-Genesisはエージェントがまず環境を認識し、ステップワイドなインタラクションを実行することを可能にする。
我々は,OS-Genesisを用いたGUIエージェントのトレーニングにより,高度に挑戦するオンラインベンチマークの性能が大幅に向上することが実証された。
論文 参考訳（メタデータ） (2024-12-27T16:21:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。