論文の概要: Online Dense Reinforcement Learning with Planning-Grounding Agent for UI Navigation on Live IOS Apps

• arxiv url: http://arxiv.org/abs/2610.39264v1
• Date: Thu, 29 Oct 2026 03:17:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.03356
• Title: Online Dense Reinforcement Learning with Planning-Grounding Agent for UI Navigation on Live IOS Apps
• Title（参考訳）: ライブIOSアプリのUIナビゲーションのためのプランニンググラウンドエージェントを用いたオンラインディエンス強化学習
• Abstract要約: ライブiOSアプリケーション上でナビゲーションエージェントを直接訓練するオンライン強化学習フレームワークを提案する。 私たちのフレームワークはエージェントを2つの特別なコンポーネント、プランニングエージェントとUIグラウンディングモデルに分離します。 我々は、オンラインRL訓練エージェントが、SFTと端末のみのRLベースラインの両方を実質的に上回っていることを実証した。
• 参考スコア（独自算出の注目度）: 31.19915238401037
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While frontier vision-language models demonstrate strong capabilities in user interface (UI) navigation, their high inference costs prohibit everyday use. Conversely, smaller models trained via supervised fine-tuning (SFT) or offline reinforcement learning often memorize static trajectories, leading to brittle execution and an inability to recover from errors. To address these limitations, we propose a novel online reinforcement learning framework that trains UI navigation agents directly on live iOS applications. Our framework decouples the agent into two specialized components: a Planning agent and a UI Grounding model. We rely on an LLM-as-a-Judge to provide comprehensive reward signals, combining dense, step-level feedback to evaluate intermediate progress with a terminal reward for overall task completion. To effectively leverage this dual reward structure, we optimize the agent using Proximal Policy Optimization (PPO) with step-level advantage estimation. Furthermore, we introduce GiGPPO, a novel neighbor-conditioned value estimation method that improves critic stability by leveraging reward signals from visually similar states across concurrent trajectories. To support this online training paradigm at scale, we introduce an efficient infrastructure that orchestrates hundreds of concurrent virtual iOS devices. Evaluations on rigorous benchmarks, including UINavBench, iOSWorld, and AndroidWorld, demonstrate that our online RL trained agents substantially outperform both SFT and terminal-only RL baselines while accelerating training convergence. Notably, our 8B RL agents achieve nearly a sevenfold improvement over the SFT baseline in out-of-distribution generalization to Android environments, while outperforming Gemini-3.5-Flash and tying with Gemini-3.1-Pro on real iOS applications.
• Abstract（参考訳）: フロンティア視覚言語モデルはユーザインターフェース(UI)ナビゲーションにおいて強力な機能を示すが、高い推論コストは日々の使用を禁止している。 逆に、教師付き微調整(SFT)やオフライン強化学習によって訓練された小さなモデルは、静的な軌道を記憶し、不安定な実行とエラーから回復することができない。 これらの制約に対処するために,UIナビゲーションエージェントを直接iOSアプリケーション上でトレーニングする,新しいオンライン強化学習フレームワークを提案する。 私たちのフレームワークはエージェントを2つの特別なコンポーネント、プランニングエージェントとUIグラウンディングモデルに分離します。 我々はLLM-as-a-Judgeに頼り、総合的な報酬信号を提供し、複雑なステップレベルのフィードバックを組み合わせ、中間的な進捗を評価し、全体のタスク完了に対する終末報酬を評価する。 この双対報酬構造を効果的に活用するために,PPO(Proximal Policy Optimization)を用いたエージェントをステップレベルの優位性推定で最適化する。 さらに,同時軌跡間の視覚的類似状態からの報酬信号を活用することで,批評家の安定性を向上させる新しい条件付き値推定手法であるGiGPPOを導入する。 このオンライントレーニングパラダイムを大規模にサポートするために、数百の同時仮想iOSデバイスをオーケストレーションする効率的なインフラストラクチャを導入しました。 UINavBench、iOSWorld、AndroidWorldなどの厳格なベンチマーク評価では、オンラインRLトレーニングエージェントは、トレーニング収束を加速しながら、SFTとターミナルのみのRLベースラインの両方を大幅に上回っていることが示されています。 特に、我々の8B RLエージェントは、Android環境へのアウト・オブ・ディストリビューションの一般化において、SFTベースラインよりも7倍近い改善を実現しています。

関連論文リスト

• GSAR: Goal-State-Anchor Rewards for Mobile GUI Agents with Self-Evolving Data Synthesis [42.18402261450695]
  GSAR(Goal-State-Anchor Reward)は、スケーラブルなタスク生成をサポートし、信頼できる報酬信号を提供するRL報酬フレームワークである。 本フレームワークは,オフライン軌道検証において90%以上の精度を達成し,ルールベース手法に最も近い性能を実現する。
  論文  参考訳（メタデータ） (2026-08-24T06:27:47Z)
• Generalization in Online Reinforcement Learning for Mobile Agents [32.98335803990582]
  我々は、目に見えないタスクインスタンス、テンプレート、アプリケーションに対してゼロショットの一般化を評価するベンチマークであるtextbfAndroidWorld-Generalizationを紹介する。 AndroidWorld-Generalizationの実験によると、RLは7BパラメータのVLMエージェントを教師付き微調整ベースラインを超えることができる。 サポートと公正な比較のために、環境、タスクスイート、モデル、プロンプト構成、基盤となるインフラストラクチャを含む完全なRLトレーニングシステムをオープンソース化しました。
  論文  参考訳（メタデータ） (2026-03-08T03:08:11Z)
• OpAgent: Operator Agent for Web Navigation [23.928869500029432]
  我々は、オンラインインタラクション環境を開発し、特殊なRLパイプラインを用いてビジョン・ランゲージ・モデル(VLM)を微調整する。 本稿では,総合的な結果評価のためのWebJudgeと,進捗報酬のためのルールベース決定木(RDT)を組み合わせたハイブリッド・リワード機構を提案する。 特に、我々のRL強化モデルは、WebArena上で38.1%の成功率(pass@5)を達成し、既存のモノリシックなベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-02-14T02:33:55Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• UI-S1: Advancing GUI Automation via Semi-online Reinforcement Learning [78.86567400365392]
  オフライン軌道上でオンラインRLをシミュレートする新しいパラダイムであるセミオンライン強化学習を提案する。 長期トレーニング信号をキャプチャするために、Semi-online RLは報酬計算に割引先を返す。 実験の結果,Semi-online RLは4つの動的ベンチマークで7Bモデル間でSOTA性能を実現することがわかった。
  論文  参考訳（メタデータ） (2025-09-15T03:24:08Z)
• ARPO:End-to-End Policy Optimization for GUI Agents with Experience Replay [88.74638385288773]
  Agentic Replay Policy Optimizationは、複雑で長期のコンピュータタスクのパフォーマンスを改善する。 本稿では,ベースラインエージェントの性能に基づいてタスクをフィルタリングするタスク選択戦略を提案する。 OSWorldベンチマークの実験では、ARPOが競争結果を達成することを示した。
  論文  参考訳（メタデータ） (2025-05-22T06:24:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。