論文の概要: WoVR+: World Model as Reliable Simulator for Versatile VLA Policy Optimization with RL

• arxiv url: http://arxiv.org/abs/2610.17922v1
• Date: Tue, 13 Oct 2026 08:12:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 08:12:44.295132
• Title: WoVR+: World Model as Reliable Simulator for Versatile VLA Policy Optimization with RL
• Title（参考訳）: WoVR+:RLを用いたヴァーサタイルVLA政策最適化のための信頼性シミュレータとしての世界モデル
• Abstract要約: アクションワールドモデルは、ビジョン・ランゲージ・アクションモデル(A-VLRL)の強化学習における費用対実ロボットの相互作用を低減できる 我々は、学習環境を再設計し、対話プロトコルを想像することで、WoVRの幻覚を意識したWMRLフレームワークを拡張したWoVR+VRを提案する。
• 参考スコア（独自算出の注目度）: 38.58807680044202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Action-conditioned world models can reduce costly real-robot interaction in reinforcement learning for Vision-Language-Action models (VLA-RL), but hallucinations can mislead policy optimization. Extending them to richer VLA interfaces and long-horizon tasks raises challenges in spatiotemporal and cross-modal consistency, exploration-reliability balance in RL, and compounding rollout errors. We present WoVR+, extending WoVR's hallucination-aware WM-RL framework by redesigning the learned environment and imagined interaction protocol: A VLA-interface-aligned world model provides multi-view prediction and proprioceptive updates while mitigating hallucinations. Chunk-wise noise preserves flow-based policy exploration while limiting prediction-degrading action jitter. For long-horizon tasks, stage-local imagined training combines stage-entry resets, stage-specific rewards, local horizons, and controllable sampling to shorten generated prefixes and balance training across stages. WoVR+ improves success over SFT by 21.09% and 16.7% on RoboTwin and 6 real-robot tasks. Long-horizon phone-packaging success rises from 30% to 75%. Videos are available at https://youmo445.github.io/WoVR_Plus.github.io/.
• Abstract（参考訳）: 行動条件付き世界モデルは、ビジョン・ランゲージ・アクションモデル(VLA-RL)の強化学習において、コストのかかるリアルタイムロボットの相互作用を減らすことができるが、幻覚はポリシー最適化を誤解させる可能性がある。 よりリッチなVLAインタフェースや長距離タスクに拡張することは、時空間的および横断的な一貫性、RLにおける探索-信頼性バランス、ロールアウトエラーの複合化といった課題を引き起こす。 我々は,WoVRの幻覚を意識したWM-RLフレームワークを拡張し,学習環境を再設計し,インタラクションプロトコルを想像することで,WoVR+を提案する。 チャンクワイドノイズは、予測劣化作用ジッタを制限しながら、フローベースのポリシー探索を保存する。 ロングホライゾンタスクでは、ステージ固有のリセット、ステージ固有の報酬、局所的な地平線、および制御可能なサンプリングを組み合わせて、生成されたプレフィックスを短縮し、ステージ間のバランストレーニングを行う。 WoVR+は21.09%、RoboTwinは16.7%、実際のロボットタスクは6つである。 長距離携帯電話のパッケージングの成功は30%から75%に増加した。 ビデオはhttps://youmo445.github.io/WoVR_Plus.github.io/で公開されている。

関連論文リスト

• RoXDrive: Closed-Loop Reinforcement Learning for End-to-End Autonomous Driving via Action-Faithful Rollouts [98.41251854883184]
  強化学習(RL)ポストトレーニングは、現在のアプローチに代わる有望な代替手段を提供する。 ビデオワールドモデルは、現実的な多段階の将来のロールアウトを生成する能力を示したが、アクション条件を忠実に反映しないかもしれない。 本稿では,信頼性の高いポリシ最適化を実現するプラグイン・アンド・プレイクローズドループRLフレームワークであるRoXDriveを紹介する。
  論文  参考訳（メタデータ） (2026-09-29T06:59:50Z)
• VLaRL: Augmenting Vision-Language-Action Models with Simulation-Trained Latent-Conditioned Residual RL [16.941537772441844]
  視覚-言語-アクション(VLA)モデルは、幅広い命令条件の操作動作を提供するが、それらの物理的実行は、接触-リッチな相互作用の間は不正確である。 本稿では,凍結したVLAの残差RLをシミュレーションで訓練し,実世界のRLやオンライン適応のない実ロボットに展開することのできるVLA遅延制御RL(VLaRL)を提案する。
  論文  参考訳（メタデータ） (2026-09-25T06:18:40Z)
• HAF: Adapting Generalist VLAs to Humanoid Whole-Body Loco-manipulation via Hierarchical Action Flow and Spectral Latent RL [56.014913786737104]
  本稿では,HAF(Humanoid Adaptation Framework)を導入し,市販の汎用VLAファンデーションモデルをヒューマノイド全体のロコ操作に転送する。 HAF-VLAは、事前訓練されたフローマッチングVLA上に構築された階層型アクションフロージェネレータである。 HaF-Steerは、フローマッチングの可逆性とDCTに基づく次元削減を活用する、オフラインからオフラインまでの潜時パイプラインである。
  論文  参考訳（メタデータ） (2026-08-17T17:22:33Z)
• Object-Centric Residual RL for Zero-Shot Sim-to-Real VLA Enhancement [52.93267443851685]
  VLA(Vision-Language-Action)モデルは様々な操作タスクにまたがって一般化することができる。 シミュレーションで純粋に訓練された強化学習政策は、実世界のVLAのゼロショットの堅牢性を改善することができるか? 本稿では,オブジェクトポーズを用いてVLA動作を洗練するオブジェクト中心残差RLフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-17T11:36:54Z)
• Scaling Sim-to-Real Reinforcement Learning for Robot VLAs with Generative 3D Worlds [11.056626934546507]
  本研究では,3次元世界生成モデルを活用することで,一般性を犠牲にすることなく,省力で視覚言語モデルを微調整できることを示す。 生成したディジタルツインの品質によって実現されたシミュレート・トゥ・リアルトランスファーを実証した。
  論文  参考訳（メタデータ） (2026-03-19T06:22:11Z)
• WoVR: World Models as Reliable Simulators for Post-Training VLA Policies with RL [30.884160045861616]
  我々は、VLAポリシーの訓練後、信頼性の高い世界モデルに基づく強化学習フレームワークであるWoVRを提案する。 制御可能なアクション条件付きビデオワールドモデルによってロールアウト安定性を向上させる。 また、Keyframe-evolutiond Rolloutsによる効果的なエラー深度を低減するために、想像上のインタラクションを再確認する。
  論文  参考訳（メタデータ） (2026-02-15T03:48:20Z)
• World-VLA-Loop: Closed-Loop Learning of Video World Model and VLA Policy [55.03832008486675]
  World-VLA-Loopは、世界モデルとVision-Language-Action (VLA) ポリシーの共同改良のためのクローズドループフレームワークである。 本研究では,将来観測と報奨信号の同時予測により,高忠実度インタラクティブシミュレータとして機能する状態認識型ビデオワールドモデルを提案する。
  論文  参考訳（メタデータ） (2026-02-06T08:57:55Z)
• SimpleVLA-RL: Scaling VLA Training via Reinforcement Learning [81.7764584515496]
  VLA(Vision-Language-Action)モデルは、ロボット操作の強力なパラダイムとして登場した。 これらのモデルは2つの根本的な課題に直面している。 VLAモデルに適した効率的な強化学習フレームワークであるSimpleVLA-RLを紹介する。
  論文  参考訳（メタデータ） (2025-09-11T17:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。