論文の概要: WM-R1: Training GUI Agents to Reason and leverage World Models with Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.27508v1
- Date: Thu, 27 Aug 2026 07:09:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.09165
- Title: WM-R1: Training GUI Agents to Reason and leverage World Models with Reinforcement Learning
- Title（参考訳）: WM-R1:強化学習による世界モデルの推論と活用のためのGUIエージェントの訓練
- Abstract要約: 実環境の代わりに世界モデルでモバイルGUIエージェントを訓練する強化学習フレームワークであるWM-R1を提案する。
ワールドモデルは、すべてのロールアウト中の状態遷移のソースとして機能し、トレーニングループ内の実際のAndroid環境を置き換える。
WM-R1はまた、世界モデルを直接思考プロセスに埋め込み、エージェントが最終的な行動にコミットする前に、候補アクションの結果を推論することを可能にする。
- 参考スコア（独自算出の注目度）: 9.419939770187545
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: GUI agents trained with reinforcement learning (RL) have showcased strong environment learning capabilities on mobile platforms. However, RL typically demands extensive real-environment interactions, leading to high resource costs and instability, especially in GUI scenarios. To address these, we propose WM-R1, the first reinforcement learning framework that trains mobile GUI agents with world models instead of real environments. Specifically, world models serve as the source of state transitions during all rollouts, replacing the real Android environment within the training loop. WM-R1 also embeds world models directly into the thinking process, enabling agents to reason about the consequences of candidate actions before committing to the final action. Crucially, WM-R1 eliminates the need for real-environment interaction, supports massively parallelized and step-level granularized trajectory generation grounded in world models, and introduces a multi-dimensional rule-based reward that jointly optimizes task success, trajectory efficiency, and world model utilization. For efficient training, we curate a high-quality dataset of 2000 challenging tasks. Experiments on Android mobile benchmarks demonstrate that WM-R1-trained agents significantly outperform GRPO-only baselines and inference-time simulation methods. Code is available at https://github.com/genalyu/WM-R1 .
- Abstract（参考訳）: 強化学習(RL)で訓練されたGUIエージェントは,モバイルプラットフォーム上で強力な環境学習能力を示した。
しかし、RLは通常、大規模な実環境相互作用を必要とし、特にGUIシナリオにおいて、高いリソースコストと不安定性をもたらす。
WM-R1は実環境の代わりに世界モデルで移動体GUIエージェントを訓練する最初の強化学習フレームワークである。
具体的には、ワールドモデルはすべてのロールアウト中の状態遷移のソースとして機能し、トレーニングループ内の実際のAndroid環境を置き換える。
WM-R1はまた、世界モデルを直接思考プロセスに埋め込み、エージェントが最終的な行動にコミットする前に、候補アクションの結果を推論することを可能にする。
重要なことは、WM-R1は実際の環境相互作用の必要性を排除し、世界モデルに根ざした大規模並列化およびステップレベルの粒度化軌道生成をサポートし、タスクの成功、軌道効率、世界モデル利用を共同で最適化する多次元ルールベースの報酬を導入している。
効率的なトレーニングのために、2000の課題タスクの高品質なデータセットをキュレートする。
Androidモバイルベンチマークの実験では、WM-R1訓練エージェントはGRPOのみのベースラインと推論時間シミュレーション手法を大幅に上回っている。
コードはhttps://github.com/genalyu/WM-R1で公開されている。
関連論文リスト
- How Mobile World Model Guides GUI Agents? [51.29718003718467]
デルタテキスト、フルテキスト、拡散ベースのイメージ、レンダリング可能なコードという、4つのモードでワールドモデルをトレーニングします。
これらのモデルはMobileWorldBenchとCode2WorldBenchの両方でSoTAのパフォーマンスを達成する。
低アクションエントロピーを持つ過信な移動体エージェントの場合、後部自己反射は限られた利得を与える。
論文 参考訳（メタデータ） (2026-05-11T10:49:31Z) - Generalization in Online Reinforcement Learning for Mobile Agents [32.98335803990582]
我々は、目に見えないタスクインスタンス、テンプレート、アプリケーションに対してゼロショットの一般化を評価するベンチマークであるtextbfAndroidWorld-Generalizationを紹介する。
AndroidWorld-Generalizationの実験によると、RLは7BパラメータのVLMエージェントを教師付き微調整ベースラインを超えることができる。
サポートと公正な比較のために、環境、タスクスイート、モデル、プロンプト構成、基盤となるインフラストラクチャを含む完全なRLトレーニングシステムをオープンソース化しました。
論文 参考訳（メタデータ） (2026-03-08T03:08:11Z) - Scaling Agent Learning via Experience Synthesis [100.42712232390532]
強化学習は、対話を通じて自己改善を行うことで、自律的なエージェントに力を与えることができる。
しかし、コストのかかるロールアウト、タスクの多様性の制限、信頼性の低い報奨信号、インフラストラクチャの複雑さによって、その実践的採用は依然として困難である。
私たちはDreamGymを紹介します。DreamGymはスケーラビリティを念頭において多様なエクスペリエンスを合成するために設計された最初の統合フレームワークです。
論文 参考訳（メタデータ） (2025-11-05T18:58:48Z) - World-in-World: World Models in a Closed-Loop World [123.85805788728128]
我々は,実エージェントと環境の相互作用を反映したクローズドループの世界において,世界モデルをベンチマークする最初のオープンプラットフォームであるWorld-in-Worldを紹介した。
多様なWMを厳格に評価し、タスク成功を主要な指標として優先順位付けし、視覚的品質に重点を置く4つのクローズドループ環境をキュレートする。
1)視覚的品質だけではタスクの成功は保証されないが、制御可能性の方が重要であること、2) 行動観測データによる後トレーニングのスケーリングは、事前訓練されたビデオジェネレータをアップグレードするよりも効果的であること、3) 推論時計算の割り当てにより、WMsは大幅にクローズドな改善が可能であること、の3つのサプライズを明らかにした。
論文 参考訳（メタデータ） (2025-10-20T22:09:15Z) - Watch and Learn: Learning to Use Computers from Online Videos [50.10702690339142]
Watch & Learn(W&L)は、インターネット上で簡単に利用できる人間のデモビデオを、大規模に実行可能なUIトラジェクトリに変換するフレームワークである。
我々は,タスク対応ビデオ検索を用いた逆動的ラベリングパイプラインを開発し,生のウェブビデオから53k以上の高品質なトラジェクトリを生成する。
これらの結果から,実世界展開に向けたCUAの実践的かつスケーラブルな基盤として,Webスケールの人間デモビデオが注目されている。
論文 参考訳（メタデータ） (2025-10-06T10:29:00Z) - Advancing Multi-agent Traffic Simulation via R1-Style Reinforcement Fine-Tuning [35.83999932977034]
エージェントの振る舞いを人間の好みや評価指標とよりよく整合させるため,次世代の予測モデルに適した新しいR1型強化微調整パラダイムを提案する。
提案手法では、分布アライメントを改善するためのメトリック指向ポリシー最適化アルゴリズムと、スーパービジョンファインチューニング(SFT)と強化ファインチューニング(RFT)を交互に行う反復的な"SFT-RFT-SFT"トレーニング戦略を導入する。
Open Sim Agents Challengeの結果、SMART-R1は総合リアリズムメタスコア0.7858で最先端のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2025-09-28T17:36:13Z) - Efficient Multi-turn RL for GUI Agents via Decoupled Training and Adaptive Data Curation [65.3648667980258]
視覚言語モデル(VLM)に基づくGUIエージェントは複雑なタスクの自動化を約束するが、強化学習(RL)の適用において大きな課題に直面している。
異種モジュールを高度に非結合的に協調するGUIエージェントのための非結合エージェントRLトレーニングフレームワークであるDARTを提案する。
OSWorldのベンチマークでは、DART-GUI-7Bは42.13%のタスク成功率、14.61%の絶対ゲイン、オープンソースSOTAよりも7.34%高い。
論文 参考訳（メタデータ） (2025-09-28T13:19:20Z) - UI-S1: Advancing GUI Automation via Semi-online Reinforcement Learning [78.86567400365392]
オフライン軌道上でオンラインRLをシミュレートする新しいパラダイムであるセミオンライン強化学習を提案する。
長期トレーニング信号をキャプチャするために、Semi-online RLは報酬計算に割引先を返す。
実験の結果,Semi-online RLは4つの動的ベンチマークで7Bモデル間でSOTA性能を実現することがわかった。
論文 参考訳（メタデータ） (2025-09-15T03:24:08Z) - Mobile-R1: Towards Interactive Reinforcement Learning for VLM-Based Mobile Agent via Task-Level Rewards [29.467847768352282]
対話型マルチターン強化学習とタスクレベルの報酬をモバイルエージェントに提供するMobile-R1を紹介する。
トレーニングフレームワークは,初期形式微調整,アクションレベル報酬によるワンステップオンライントレーニング,マルチターン軌道に基づくタスクレベル報酬によるオンライントレーニングの3段階で構成されている。
この戦略はMobile-R1の探索と誤り訂正機能を強化するために設計されており、大幅な性能向上につながっている。
論文 参考訳（メタデータ） (2025-06-25T11:34:43Z) - GUI-R1 : A Generalist R1-Style Vision-Language Action Model For GUI Agents [29.65579758217919]
nameは、高レベルな現実世界のタスクシナリオにおけるLVLMの能力を高めるために設計された最初の強化学習フレームワークである。
従来のOS-Atlasのような最先端のメソッドと比較して、データの0.02%しか使っていない。
論文 参考訳（メタデータ） (2025-04-14T17:45:54Z) - Robotic World Model: A Neural Network Simulator for Robust Policy Optimization in Robotics [50.191655141020505]
この研究は、長期水平予測、エラー蓄積、およびsim-to-real転送の課題に対処することで、モデルに基づく強化学習を前進させる。
スケーラブルでロバストなフレームワークを提供することで、現実のアプリケーションにおいて適応的で効率的なロボットシステムを実現することができる。
論文 参考訳（メタデータ） (2025-01-17T10:39:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。