論文の概要: Prioritized Rollouts for Efficient World Model-based Vision-Language-Action Policy Optimization

• arxiv url: http://arxiv.org/abs/2609.22879v1
• Date: Sat, 19 Sep 2026 08:34:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.578758
• Title: Prioritized Rollouts for Efficient World Model-based Vision-Language-Action Policy Optimization
• Title（参考訳）: 効率的な世界モデルに基づくビジョンランゲージ・アクションポリシー最適化のための優先順位付きロールアウト
• Abstract要約: 政策不確実性は、政策改善の可能性が大きい州を特定するのに役立つことを示す。 より軽量なプラグアンドプレイサンプリング層であるU-GROWを導入し、これらの情報状態により多くのモデルロールアウトを向ける。
• 参考スコア（独自算出の注目度）: 31.074309203085175
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Vision-Language-Action (VLA) models have emerged as a powerful paradigm for embodied intelligence, but fine-tuning them with reinforcement learning (RL) remains constrained by the cost of real-world robot interaction. Model-based reinforcement learning (MBRL) reduces this cost by using a learned world model to generate rollouts for policy optimization. However, it becomes computationally expensive as VLA policies and world models scale. Existing methods typically treat states equally, overlooking substantial differences in their utility for policy improvement. In this paper, we show that policy uncertainty helps identify states with greater potential for policy improvement. The policy exhibits high uncertainty at only a small subset of states, often during decision-sensitive stages where small action differences can alter task outcomes, suggesting that policy improvements at these states could be particularly valuable. Building on these findings, we introduce U-GROW, a lightweight, plug-and-play sampling layer that directs more model rollouts to these informative states. By modifying only the branched-start distribution, U-GROW can be integrated into existing MBRL pipelines without changing the policy optimization objective. Experiments in both simulated and real-world manipulation tasks demonstrate the efficiency and effectiveness of U-GROW, supporting the use of policy uncertainty to guide experience generation.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、インテリジェンスを具現化するための強力なパラダイムとして登場したが、実世界のロボット相互作用のコストによって、強化学習(RL)でそれらを微調整することは依然として制限されている。 モデルベース強化学習(MBRL)は、学習した世界モデルを用いてポリシー最適化のためのロールアウトを生成することにより、このコストを削減する。 しかし、VLAポリシーや世界モデルがスケールするにつれて、計算コストが上昇する。 既存の方法は通常、州を平等に扱い、政策改善のためにその効用の実質的な違いを見落としている。 本稿では、政策不確実性は、政策改善の可能性が大きい州を特定するのに役立つことを示す。 この政策は少数の州のみにおいて高い不確実性を示し、多くの場合、小さな行動の違いがタスクの結果を変えるような決定に敏感な段階において、これらの州における政策改善が特に価値のある可能性があることを示唆している。 これらの知見に基づいて,これらの情報状態により多くのモデルロールアウトを誘導する軽量なプラグアンドプレイサンプリング層であるU-GROWを導入する。 分岐開始分布だけを変更することで、U-GROWはポリシー最適化の目的を変更することなく既存のMBRLパイプラインに統合できる。 シミュレーションおよび実世界の操作タスクにおける実験は、U-GROWの有効性と有効性を示し、経験生成を導くための政策の不確実性の使用を支援する。

関連論文リスト

• Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization [46.32504081845328]
  モデルに基づく強化学習は、世界モデルを用いて、大規模に効果的に支援することができる。 我々は、既存の世界モデルアプローチにおける検索と価値学習の間の構造的ミスアライメントであるボトルネックを特定する。 拡散政策表現を通じて探索と政策最適化を統一するフレームワークである世界モデルにおけるモデルベース拡散政策最適化(MBDPO)を提案する。
  論文  参考訳（メタデータ） (2026-05-25T19:06:51Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• Dichotomous Diffusion Policy Optimization [46.51375996317989]
  DIPOLEは、安定かつ制御可能な拡散ポリシー最適化のために設計された新しいRLアルゴリズムである。 また、DIPOLEを使用して、エンドツーエンドの自動運転のための大規模なビジョン言語アクションモデルをトレーニングしています。
  論文  参考訳（メタデータ） (2025-12-31T16:56:56Z)
• Compose Your Policies! Improving Diffusion-based or Flow-based Robot Policies via Test-time Distribution-level Composition [52.232968183793986]
  General Policy Composition (GPC) は、複数の事前学習されたポリシーの分布スコアを組み合わせることで、パフォーマンスを向上させる訓練のない手法である。 GPCは、さまざまなタスクセットにおけるパフォーマンスと適応性を一貫して改善します。
  論文  参考訳（メタデータ） (2025-10-01T16:05:53Z)
• Polychromic Objectives for Reinforcement Learning [63.37185057794815]
  強化学習微調整(Reinforcement Learning fine-tuning, RLFT)は、下流タスクの事前訓練されたポリシーを改善するための主要なパラダイムである。 多様な世代の探索・改良を明示的に実施する政策手法の目的について紹介する。 この目的を最適化するために、PPO(Pximal Policy Optimization)をどのように適用できるかを示す。
  論文  参考訳（メタデータ） (2025-09-29T19:32:11Z)
• Multimodal LLM-assisted Evolutionary Search for Programmatic Control Policies [36.44665658496622]
  この研究は、MLES(Multimodal Large Language Model-assisted Evolutionary Search)と呼ばれるプログラム制御ポリシー発見のための新しいアプローチを導入する。 MLESはマルチモーダルな大言語モデルをプログラム型ポリシー生成器として利用し、それらを進化的検索と組み合わせてポリシー生成を自動化する。 実験の結果,MLESは2つの標準制御タスクでPPOに匹敵する性能を達成できた。
  論文  参考訳（メタデータ） (2025-08-07T14:24:03Z)
• Enabling Efficient, Reliable Real-World Reinforcement Learning with Approximate Physics-Based Models [10.472792899267365]
  我々は,実世界のデータを用いたロボット学習のための,効率的かつ信頼性の高いポリシー最適化戦略の開発に重点を置いている。 本稿では,新しい政策勾配に基づく政策最適化フレームワークを提案する。 提案手法では,実世界のデータの数分で,正確な制御戦略を確実に学習できることが示されている。
  論文  参考訳（メタデータ） (2023-07-16T22:36:36Z)
• Mutual Information Regularized Offline Reinforcement Learning [76.05299071490913]
  我々は、データセットにおける状態と行動間の相互情報の観点から、オフラインRLにアプローチする新しいMISAフレームワークを提案する。 この下位境界の最適化は、オフラインデータセット上での一段階改善されたポリシーの可能性の最大化と等価であることを示す。 MISAの3つの異なる変種を導入し、より厳密な相互情報によりオフラインのRL性能が向上することを示した。
  論文  参考訳（メタデータ） (2022-10-14T03:22:43Z)
• Building a Foundation for Data-Driven, Interpretable, and Robust Policy Design using the AI Economist [67.08543240320756]
  AIエコノミストフレームワークは,2段階強化学習とデータ駆動型シミュレーションを用いて,効果的な,柔軟な,解釈可能なポリシー設計を可能にする。 RLを用いて訓練されたログリニア政策は、過去の結果と比較して、公衆衛生と経済の両面から社会福祉を著しく改善することがわかった。
  論文  参考訳（メタデータ） (2021-08-06T01:30:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。