論文の概要: Where to Learn and How Far to Roll Out: Efficient Adaptive Training for GUI Agents

• arxiv url: http://arxiv.org/abs/2610.39251v1
• Date: Thu, 29 Oct 2026 03:03:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.032856
• Title: Where to Learn and How Far to Roll Out: Efficient Adaptive Training for GUI Agents
• Title（参考訳）: GUIエージェントの効果的な適応トレーニング
• Abstract要約: 軌道レベルのGRPOは多段階GUIエージェントを訓練するための一般的なアプローチである。 しかし、タスクルートから完全なトラジェクトリを繰り返しロールアウトすることは、非効率である可能性がある。 2段階の適応トレーニングフレームワークを導入し、学習の場所と展開までの時間に共同で対処する。
• 参考スコア（独自算出の注目度）: 6.857954441070984
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Trajectory-level GRPO is a common approach for training multi-step GUI agents, but repeatedly rolling out complete trajectories from the task root can be inefficient: task-level rewards provide coarse supervision over which intermediate decisions require improvement, while already-mastered prefixes are repeatedly re-executed before reaching difficult states. We introduce a two-stage adaptive training framework that jointly addresses where to learn and how far to roll out. We first construct reusable intermediate checkpoints from successful expert trajectories and select informative pivots using action disagreement, which measures uncertainty directly from sampled GUI actions. Stage I performs one-step RL at these pivots to improve uncertain local decisions. Stage II then progressively expands policy responsibility through adaptive Local, Suffix, and Root training according to task progress. Recoverable checkpoints enable repeated training from intermediate states without replaying the preceding trajectory. Across MobileGym and CUA-Gym-Hub, our method reduces environment interaction by 56-61% relative to Vanilla GRPO while improving task performance, demonstrating that jointly allocating training across states and rollout ranges can substantially improve GUI-agent RL efficiency.
• Abstract（参考訳）: 軌道レベルのGRPOは、多段階GUIエージェントを訓練するための一般的なアプローチであるが、タスクルートからの完全な軌道を繰り返し展開することは非効率である: タスクレベルの報酬は、中間決定が改善を必要とするような粗い監督を提供する一方、既にマスターされたプレフィックスは、困難な状態に達する前に繰り返し実行される。 2段階の適応トレーニングフレームワークを導入し、学習の場所と展開までの時間に共同で対処する。 まず、成功した専門家の軌跡から再利用可能な中間チェックポイントを構築し、サンプルGUIアクションから直接不確実性を測定するアクション不一致を用いて情報的ピボットを選択する。 ステージ1は、不確実なローカル決定を改善するために、これらのピボットでワンステップのRLを実行します。 第2段階は、タスクの進捗に応じて適応的なローカル、サフィックス、ルートトレーニングを通じて、政策責任を段階的に拡大する。 回復可能なチェックポイントは、前の軌跡を再生することなく、中間状態からの繰り返しのトレーニングを可能にする。 MobileGym と CUA-Gym-Hub 全体では,タスク性能を改善しつつ,Vanilla GRPO と比較して環境相互作用を56～61%削減する。

関連論文リスト

• T2SPO: Trajectory-to-Step Policy Optimization for Agentic Reinforcement Learning [22.083265174873006]
  Trajectory-to-Step Policy Optimizationは、ポリシー学習のためのステップレベルのフィードバックを提供する。 連続した州間の距離推定の変化は、タスクレベルの監督と並行してエージェントステップの補助的信用を与える。 ALFWorldとWebShopでの1.5Bと7Bの言語モデルによる実験は、T2SPOがタスク全体の成功を一貫して改善していることを示している。
  論文  参考訳（メタデータ） (2026-09-30T10:34:27Z)
• Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning [85.02566758103008]
  Group-Graph Policy Optimization (G2PO) は、マルチターンエージェントタスクに適したグループベースの強化学習アルゴリズムである。 G2POは最先端のプロンプトベースとRLベースラインを大幅に上回り、GRPOよりも最大22.2%の成功率の向上を達成した。
  論文  参考訳（メタデータ） (2026-06-22T08:12:47Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Harnessing LLM Agents with Skill Programs [58.356514745548026]
  HASPは、実行可能なプログラム関数(PF)にスキルをアップグレードする新しいフレームワークです。 PFは障害が発生しやすい状態を起動し、次のアクションを変更したり、修正コンテキストを注入する実行可能なガードレールとして機能する。 HASPは、Web検索、数学推論、コーディングタスクにおいて、トレーニング不要とトレーニングベースの両方の手法と比較して、大幅に向上している。
  論文  参考訳（メタデータ） (2026-05-18T01:35:11Z)
• Large Language Model Post-Training: A Unified View of Off-Policy and On-Policy Learning [37.29007534251622]
  ポストトレーニングは、事前訓練された大きな言語モデルを整列し、機能し、デプロイ可能なシステムに変える中心となった。 最近の進歩は、教師付き微調整(SFT)、選好最適化、強化学習(RL)、プロセス監督、検証者誘導法、蒸留、多段パイプラインに及んでいる。 この調査では、LLMのポストトレーニングはモデル行動に対する構造化された介入として最もよく理解されている。
  論文  参考訳（メタデータ） (2026-04-09T08:00:37Z)
• RFS: Reinforcement Learning with Residual Flow Steering for Dexterous Manipulation [7.500999283386335]
  残留フローステアリング(Residual Flow Steering、RFS)は、事前訓練された生成ポリシーを適用するためのデータ効率の強化学習フレームワークである。 RFSは、残留動作と潜時雑音分布を協調的に最適化することにより、事前訓練されたフローマッチングポリシーを操る。 シミュレーションと実世界の両方の設定において, RFS が効率よく微調整できることを示す。
  論文  参考訳（メタデータ） (2026-02-02T08:11:57Z)
• Efficient Multi-turn RL for GUI Agents via Decoupled Training and Adaptive Data Curation [65.3648667980258]
  視覚言語モデル(VLM)に基づくGUIエージェントは複雑なタスクの自動化を約束するが、強化学習(RL)の適用において大きな課題に直面している。 異種モジュールを高度に非結合的に協調するGUIエージェントのための非結合エージェントRLトレーニングフレームワークであるDARTを提案する。 OSWorldのベンチマークでは、DART-GUI-7Bは42.13%のタスク成功率、14.61%の絶対ゲイン、オープンソースSOTAよりも7.34%高い。
  論文  参考訳（メタデータ） (2025-09-28T13:19:20Z)
• ActiveVLN: Towards Active Exploration via Multi-Turn RL in Vision-and-Language Navigation [57.399685080574756]
  既存のMLLMベースのVLNメソッドは模倣学習(IL)に依存しており、ポストトレーニングにDAggerを使用することが多い。 マルチターンRLによるアクティブな探索を可能にするVLNフレームワークであるActiveVLNを提案する。 実験の結果,ActiveVLN は DAgger ベースと RL ベースのポストトレーニング手法と比較して,IL ベースラインよりも最大の性能向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-09-16T03:31:46Z)
• Fast Adaptation with Behavioral Foundation Models [82.34700481726951]
  教師なしゼロショット強化学習は、行動基礎モデルの事前学習のための強力なパラダイムとして登場した。 有望な結果にもかかわらず、ゼロショットポリシーは、教師なしのトレーニングプロセスによって引き起こされるエラーにより、しばしば準最適である。 本稿では,事前訓練されたBFMの低次元タスク埋め込み空間を探索し,ゼロショットポリシーの性能を急速に向上させる高速適応手法を提案する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。