論文の概要: Jump-Start Reinforcement Learning with Vision-Language-Action Regularization

• arxiv url: http://arxiv.org/abs/2604.13733v1
• Date: Wed, 15 Apr 2026 11:17:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.503544
• Title: Jump-Start Reinforcement Learning with Vision-Language-Action Regularization
• Title（参考訳）: ビジョンランゲージ・アクション規則化によるジャンプスタート強化学習
• Authors: Angelo Moroncelli, Roberto Zanetti, Marco Maccarini, Loris Roveda,
• Abstract要約: 強化学習(RL)は、ロボット操作のための高周波閉ループ制御を可能にする。 現在の制限は、高速かつ正確な操作において直接の使用を妨げる。 探索と学習効率を向上させるために,VLAJS(Vision-Language-Action Jump-Starting)を提案する。
• 参考スコア（独自算出の注目度）: 1.2599533416395767
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) enables high-frequency, closed-loop control for robotic manipulation, but scaling to long-horizon tasks with sparse or imperfect rewards remains difficult due to inefficient exploration and poor credit assignment. Vision-Language-Action (VLA) models leverage large-scale multimodal pretraining to provide generalist, task-level reasoning, but current limitations hinder their direct use in fast and precise manipulation. In this paper, we propose Vision-Language-Action Jump-Starting (VLAJS), a method that bridges sparse VLA guidance with on-policy RL to improve exploration and learning efficiency. VLAJS treats VLAs as transient sources of high-level action suggestions that bias early exploration and improve credit assignment, while preserving the high-frequency, state-based control of RL. Our approach augments Proximal Policy Optimization (PPO) with a directional action-consistency regularization that softly aligns the RL agent's actions with VLA guidance during early training, without enforcing strict imitation, requiring demonstrations, or relying on continuous teacher queries. VLA guidance is applied sparsely and annealed over time, allowing the agent to adapt online and ultimately surpass the guiding policy. We evaluate VLAJS on six challenging manipulation tasks: lifting, pick-and-place, peg reorientation, peg insertion, poking, and pushing in simulation, and validate a subset on a real Franka Panda robot. VLAJS consistently outperforms PPO and distillation-style baselines in sample efficiency, reducing required environment interactions by over 50% in several tasks. Real-world experiments demonstrate zero-shot sim-to-real transfer and robust execution under clutter, object variation, and external perturbations.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、ロボット操作のための高周波でクローズドループ制御を可能にするが、非効率な探索と信用の割り当てが不十分なため、スパースや不完全な報酬を伴う長距離タスクへのスケーリングは難しいままである。 VLA(Vision-Language-Action)モデルは、大規模マルチモーダル事前訓練を利用して、汎用的でタスクレベルの推論を提供するが、現在の制限は、高速かつ正確な操作において直接の使用を妨げる。 本稿では,VLAガイダンスをオンラインRLにブリッジして探索と学習効率を向上させる手法であるVision-Language-Action Jump-Starting (VLAJS)を提案する。 VLAJSはVLAを、RLの高周波、状態ベース制御を維持しながら、早期探索の偏見と信用割当の改善という、ハイレベルな行動提案の過渡的な情報源として扱う。 我々のアプローチは、厳密な模倣、デモンストレーションの必要、あるいは継続的な教師の質問に頼らずに、RLエージェントの行動とVLAガイダンスとをソフトに整合させる方向性のアクション整合性正規化によって、PPO(Proximal Policy Optimization)を強化する。 VLAガイダンスは、時間とともに緩やかに適用され、エージェントがオンラインに適応し、最終的にガイドポリシーを超えることができる。 VLAJSは、持ち上げ、ピック・アンド・プレース、ペグ・リオリエンテーション、ペグ挿入、ポーキング、シミュレーションにおけるプッシュの6つの課題に対して評価を行い、Franka Pandaロボットのサブセットを検証する。 VLAJSは、サンプル効率においてPPOと蒸留スタイルのベースラインを一貫して上回り、いくつかのタスクにおいて必要な環境相互作用を50%以上削減する。 実世界の実験では、ゼロショットのsim-to-real転送と、乱れ、オブジェクトの変動、外部の摂動による堅牢な実行が実証されている。

関連論文リスト

• Unleashing VLA Potentials in Autonomous Driving via Explicit Learning from Failures [14.313346858887286]
  自律走行のためのVLA(Vision-Language-Action)モデルは、強化学習(Reinforcement Learning、RL)最適化時にしばしばパフォーマンス高原に到達する。 この停滞は、以前のスーパービジョン・ファインチューニング(SFT)によって制約された探査能力から生じる。 構造化された診断フィードバックでRLを増強するフレームワークであるELF-VLA(Explicit Learning from Failures)を提案する。
  論文  参考訳（メタデータ） (2026-03-01T11:41:22Z)
• On-the-Fly VLA Adaptation via Test-Time Reinforcement Learning [61.38273866396522]
  ビジョン・ランゲージ・アクションモデルが汎用ロボット学習の強力なパラダイムとして登場した。 現在の手法は、シミュレーションや物理世界の展開に挑戦するには相変わらず適していない。 本稿では,VLA フレームワークのテスト時間強化学習について紹介する。
  論文  参考訳（メタデータ） (2026-01-11T01:51:30Z)
• COVLM-RL: Critical Object-Oriented Reasoning for Autonomous Driving Using VLM-Guided Reinforcement Learning [55.83415345423854]
  批判的オブジェクト指向(CO)推論と強化学習(RL)を統合した新しいエンドツーエンド駆動フレームワークCOVLM-RLを提案する。 CARLAシミュレータで行った実験により、COVLM-RLはトレーニング運転環境における成功率を30%向上することが示された。
  論文  参考訳（メタデータ） (2025-12-10T06:18:16Z)
• Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach [78.4812458793128]
  動作チャンクの高忠実度検証に軽量な擬数推定器を適用したテスト時間スケーリングフレームワークである textbfTACO を提案する。 我々の手法は、オフライン強化学習(RL)における古典的な反探索原理に似ており、勾配のないため、計算上の大きな恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-12-02T14:42:54Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• ActiveVLN: Towards Active Exploration via Multi-Turn RL in Vision-and-Language Navigation [57.399685080574756]
  既存のMLLMベースのVLNメソッドは模倣学習(IL)に依存しており、ポストトレーニングにDAggerを使用することが多い。 マルチターンRLによるアクティブな探索を可能にするVLNフレームワークであるActiveVLNを提案する。 実験の結果,ActiveVLN は DAgger ベースと RL ベースのポストトレーニング手法と比較して,IL ベースラインよりも最大の性能向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-09-16T03:31:46Z)
• SimpleVLA-RL: Scaling VLA Training via Reinforcement Learning [81.7764584515496]
  VLA(Vision-Language-Action)モデルは、ロボット操作の強力なパラダイムとして登場した。 これらのモデルは2つの根本的な課題に直面している。 VLAモデルに適した効率的な強化学習フレームワークであるSimpleVLA-RLを紹介する。
  論文  参考訳（メタデータ） (2025-09-11T17:59:17Z)
• VLA-RL: Towards Masterful and General Robotic Manipulation with Scalable Reinforcement Learning [14.099306230721245]
  VLA-RLは、オンライン収集データをテスト時に改善する探索ベースのフレームワークである。 自動抽出タスクセグメントにアノテートされた擬似報酬ラベルに基づいてトレーニングされたロボットプロセス報酬モデルとして、事前学習された視覚言語モデルを微調整する。 VLA-RLにより、OpenVLA-7BはLIBEROの40の挑戦的なロボット操作タスクにおいて、最強の微調整ベースラインを4.5%超えることができる。
  論文  参考訳（メタデータ） (2025-05-24T14:42:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。