論文の概要: VLaRL: Augmenting Vision-Language-Action Models with Simulation-Trained Latent-Conditioned Residual RL

• arxiv url: http://arxiv.org/abs/2609.30868v1
• Date: Fri, 25 Sep 2026 06:18:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.256687
• Title: VLaRL: Augmenting Vision-Language-Action Models with Simulation-Trained Latent-Conditioned Residual RL
• Title（参考訳）: VLaRL:シミュレーション学習された残留RLを用いた視覚・言語・行動モデルの拡張
• Abstract要約: 視覚-言語-アクション(VLA)モデルは、幅広い命令条件の操作動作を提供するが、それらの物理的実行は、接触-リッチな相互作用の間は不正確である。 本稿では,凍結したVLAの残差RLをシミュレーションで訓練し,実世界のRLやオンライン適応のない実ロボットに展開することのできるVLA遅延制御RL(VLaRL)を提案する。
• 参考スコア（独自算出の注目度）: 16.941537772441844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language-action (VLA) models provide broad, instruction-conditioned manipulation behaviors, but their physical execution can remain imprecise during contact-rich interaction. Residual reinforcement learning (RL) can correct such errors while keeping the VLA frozen, but real-robot RL is costly and safety-critical. We propose VLA Latent-Conditioned RL (VLaRL), which enables residual RL for frozen VLAs to be trained in simulation and deployed on real robots without real-world RL or online adaptation. The key challenge is transferring the learned residual policy despite the visual gap between simulation and reality. Rather than requiring pixel-level visual correspondence, VLaRL uses the VLA's internal vision-language latent representation to condition residual control and as the sim-to-real transfer interface, and learns a lightweight mapper that transforms simulation-derived latents toward the real latent distribution. Across four contact-rich manipulation tasks and two VLA backbones, VLaRL improves real-world success in all task-backbone combinations, while controlled ablations demonstrate the importance of both latent conditioning and latent alignment for transferring simulation-trained residual control.
• Abstract（参考訳）: 視覚-言語-アクション(VLA)モデルは、幅広い命令条件の操作動作を提供するが、それらの物理的実行は、接触-リッチな相互作用の間は不正確である。 残留強化学習(RL)は、VLAを凍結させながら、そのような誤りを修正することができるが、実際のロボットRLは高価で安全性に欠ける。 本稿では,凍結したVLAの残差RLをシミュレーションで訓練し,実世界のRLやオンライン適応のない実ロボットに展開することのできるVLA遅延制御RL(VLaRL)を提案する。 重要な課題は、シミュレーションと現実の間の視覚的ギャップにもかかわらず、学習した残留ポリシーを転送することである。 VLaRLは、ピクセルレベルの視覚的対応を必要とするのではなく、VLAの内部視覚言語潜在表現を条件残差制御やsim-to-real転送インタフェースとして使用し、シミュレーション由来の潜伏表現を実際の潜伏分布に変換する軽量マッパーを学習する。 4つのコンタクトリッチな操作タスクと2つのVLAバックボーンで、VLaRLはすべてのタスクとバックボーンの組み合わせにおける現実的な成功を改善する一方、制御された改善は、シミュレーション訓練された残留制御の伝達において、潜時条件付けと潜時アライメントの両方の重要性を示す。

関連論文リスト

• HAF: Adapting Generalist VLAs to Humanoid Whole-Body Loco-manipulation via Hierarchical Action Flow and Spectral Latent RL [56.014913786737104]
  本稿では,HAF(Humanoid Adaptation Framework)を導入し,市販の汎用VLAファンデーションモデルをヒューマノイド全体のロコ操作に転送する。 HAF-VLAは、事前訓練されたフローマッチングVLA上に構築された階層型アクションフロージェネレータである。 HaF-Steerは、フローマッチングの可逆性とDCTに基づく次元削減を活用する、オフラインからオフラインまでの潜時パイプラインである。
  論文  参考訳（メタデータ） (2026-08-17T17:22:33Z)
• TEMPO: Semantic-Action Decoupled RL Post-Training for Vision-Language-Action Models [8.38821563990503]
  視覚言語アクション(VLA)モデルは、教師付き微調整(SFT)またはオンライン強化学習(RL)による下流操作タスクに一般的に適応する。 VLAモデルのための2時間スケールのRLポストトレーニングフレームワークTEMPOを提案する。 CALVINベンチマークと実世界の操作タスクの実験により、TEMPOはトレーニング済みの最先端VLAモデルとRLポストトレーニングベースラインの両方を一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2026-08-07T15:09:51Z)
• Object-Centric Residual RL for Zero-Shot Sim-to-Real VLA Enhancement [52.93267443851685]
  VLA(Vision-Language-Action)モデルは様々な操作タスクにまたがって一般化することができる。 シミュレーションで純粋に訓練された強化学習政策は、実世界のVLAのゼロショットの堅牢性を改善することができるか? 本稿では,オブジェクトポーズを用いてVLA動作を洗練するオブジェクト中心残差RLフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-17T11:36:54Z)
• Sim2Real-AD: A Modular Sim-to-Real Framework for Deploying VLM-Guided Reinforcement Learning in Real-World Autonomous Driving [13.424737198969247]
  本稿では,VLM誘導型RLポリシーを実車にゼロショット・シミュレートするためのモジュラーフレームワークであるSim2Real-ADを提案する。 我々の知る限り、本研究はCARLAで訓練されたVLM誘導RLポリシーを実車にゼロショットクローズドループで展開した最初の事例である。
  論文  参考訳（メタデータ） (2026-04-03T22:41:45Z)
• World-VLA-Loop: Closed-Loop Learning of Video World Model and VLA Policy [55.03832008486675]
  World-VLA-Loopは、世界モデルとVision-Language-Action (VLA) ポリシーの共同改良のためのクローズドループフレームワークである。 本研究では,将来観測と報奨信号の同時予測により,高忠実度インタラクティブシミュレータとして機能する状態認識型ビデオワールドモデルを提案する。
  論文  参考訳（メタデータ） (2026-02-06T08:57:55Z)
• On-the-Fly VLA Adaptation via Test-Time Reinforcement Learning [61.38273866396522]
  ビジョン・ランゲージ・アクションモデルが汎用ロボット学習の強力なパラダイムとして登場した。 現在の手法は、シミュレーションや物理世界の展開に挑戦するには相変わらず適していない。 本稿では,VLA フレームワークのテスト時間強化学習について紹介する。
  論文  参考訳（メタデータ） (2026-01-11T01:51:30Z)
• VLA-RFT: Vision-Language-Action Reinforcement Fine-tuning with Verified Rewards in World Simulators [38.880852900641]
  VLA(Vision-Language-Action)モデルは、具体的意思決定を可能にするが、模倣学習に大きく依存する。 制御可能なシミュレータとしてデータ駆動世界モデルを利用する強化微調整フレームワークであるVLA-RFTを紹介する。 400歩未満の微調整ステップで、VLA-RFTは強い教師付きベースラインを超え、シミュレータベースのRLよりも高い効率を達成する。
  論文  参考訳（メタデータ） (2025-10-01T01:33:10Z)
• SimpleVLA-RL: Scaling VLA Training via Reinforcement Learning [81.7764584515496]
  VLA(Vision-Language-Action)モデルは、ロボット操作の強力なパラダイムとして登場した。 これらのモデルは2つの根本的な課題に直面している。 VLAモデルに適した効率的な強化学習フレームワークであるSimpleVLA-RLを紹介する。
  論文  参考訳（メタデータ） (2025-09-11T17:59:17Z)
• RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real [74.45688231140689]
  本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。 RL-CycleGANは実世界のシミュレーションから実世界への変換による強化学習のための新しい手法である。
  論文  参考訳（メタデータ） (2020-06-16T08:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。