論文の概要: TEMPO: Semantic-Action Decoupled RL Post-Training for Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2608.07314v1
- Date: Fri, 07 Aug 2026 15:09:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.538037
- Title: TEMPO: Semantic-Action Decoupled RL Post-Training for Vision-Language-Action Models
- Title（参考訳）: TEMPO:セマンティック・アクション・デカップリングによるビジョン・ランゲージ・アクションモデルのためのRLポストトレーニング
- Abstract要約: 視覚言語アクション(VLA)モデルは、教師付き微調整(SFT)またはオンライン強化学習(RL)による下流操作タスクに一般的に適応する。
VLAモデルのための2時間スケールのRLポストトレーニングフレームワークTEMPOを提案する。
CALVINベンチマークと実世界の操作タスクの実験により、TEMPOはトレーニング済みの最先端VLAモデルとRLポストトレーニングベースラインの両方を一貫して上回っていることが示された。
- 参考スコア（独自算出の注目度）: 8.38821563990503
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language-action (VLA) models are commonly adapted to downstream manipulation tasks via supervised fine-tuning (SFT) or online reinforcement learning (RL) post-training. SFT is prone to distribution mismatch, and existing RL approaches typically apply a single, uniform update strategy to all model components, ignoring their distinct functional roles. We propose TEMPO, a semantic-action decoupled, two-timescale RL post-training framework for VLA models. TEMPO freezes the pretrained vision-language backbone to preserve general semantic representations, and restricts adaptation to two components with dedicated RL optimization loops: the semantic projection layer and the low-level action expert. We update them at different rates--the semantic projection layer infrequently, to keep the latent action stable, and the action expert frequently, to rapidly incorporate control feedback from online interaction. This decoupling RL fine-tuning strategy prevents fast policy updates from destabilizing high-level semantic representations while still allowing the action expert to learn efficiently from online feedback. Experiments on the CALVIN benchmark and real-world manipulation tasks demonstrate that TEMPO consistently outperforms both pretrained state-of-the-art VLA models and the RL post-training baseline, while reaching and maintaining higher evaluation rewards on two real-world tasks.
- Abstract（参考訳）: 視覚言語アクション(VLA)モデルは、教師付き微調整(SFT)またはオンライン強化学習(RL)による下流操作タスクに一般的に適応する。
SFTは分散ミスマッチをしがちであり、既存のRLアプローチは通常、個々の機能的役割を無視して、すべてのモデルコンポーネントに一様のアップデート戦略を適用する。
VLAモデルのための2時間スケールのRLポストトレーニングフレームワークTEMPOを提案する。
TEMPOは、トレーニング済みの視覚言語バックボーンを凍結して、一般的な意味表現を保存し、専用のRL最適化ループを持つ2つのコンポーネント(セマンティックプロジェクション層と低レベルアクションエキスパート)への適応を制限する。
我々は、しばしばセマンティック・プロジェクション・レイヤを更新し、潜伏したアクションを安定させるために、そしてアクション専門家を頻繁に、オンラインインタラクションからの制御フィードバックを迅速に組み込むために、それらを異なるレートで更新する。
この分離されたRL微調整戦略は、迅速なポリシー更新が高レベルのセマンティック表現を不安定化することを防ぐと同時に、アクションエキスパートがオンラインフィードバックから効率的に学習できるようにする。
CALVINベンチマークと実世界の操作タスクの実験では、TEMPOはトレーニング済みの最先端VLAモデルとRLポストトレーニングベースラインの両方を一貫して上回っており、2つの実世界のタスクに対して高い評価報酬を達成し維持している。
関連論文リスト
- RL$^2$-VLA: Adaptive RL Latent Compositional Steering with Test-Time Scaling for Vision-Language-Action Models [8.012549967082832]
RL2$はVision-Language-Action(VLA)モデルの適応型推論時ステアリングフレームワークである。
VLAアクションエキスパートから抽出した表現的潜伏者に基づく軽量オフラインRLポリシーを訓練する。
この構成的ステアリング戦略は、大規模な模倣学習の行動先行と、オフラインRLによって誘導される行動多様性を結合する。
論文 参考訳（メタデータ） (2026-07-29T14:49:56Z) - LaST-R1: Reinforcing Robotic Manipulation via Adaptive Physical Latent Reasoning [90.86828952599147]
提案するLaST-R1(LaST-R1)は,「最近の推論・行動」政策を活用するために設計された,新しい強化学習フレームワークである。
LaST-R1 は LIBERO ベンチマークで 99.9% の平均成功率を達成した。
実世界の展開では、LaST-R1はSOTAが監督する微調整アプローチよりも22.5%平均的に改善されている。
論文 参考訳（メタデータ） (2026-04-30T17:59:52Z) - Why Does Reinforcement Learning Generalize? A Feature-Level Mechanistic Study of Post-Training in Large Language Models [51.45122910254346]
強化学習(RL)に基づくポストトレーニングは、トレーニングドメインを超えた大規模言語モデルの推論性能を改善することが多い。
Supervised Fine-tuning (SFT) はしばしば一般的な忘れる能力をもたらす。
制御された実験装置を用いてRL一般化を探索する特徴レベル力学解析手法を提案する。
論文 参考訳（メタデータ） (2026-04-27T21:22:34Z) - Jump-Start Reinforcement Learning with Vision-Language-Action Regularization [1.2599533416395767]
強化学習(RL)は、ロボット操作のための高周波閉ループ制御を可能にする。
現在の制限は、高速かつ正確な操作において直接の使用を妨げる。
探索と学習効率を向上させるために,VLAJS(Vision-Language-Action Jump-Starting)を提案する。
論文 参考訳（メタデータ） (2026-04-15T11:17:54Z) - On-the-Fly VLA Adaptation via Test-Time Reinforcement Learning [61.38273866396522]
ビジョン・ランゲージ・アクションモデルが汎用ロボット学習の強力なパラダイムとして登場した。
現在の手法は、シミュレーションや物理世界の展開に挑戦するには相変わらず適していない。
本稿では,VLA フレームワークのテスト時間強化学習について紹介する。
論文 参考訳（メタデータ） (2026-01-11T01:51:30Z) - SOP: A Scalable Online Post-Training System for Vision-Language-Action Models [15.86316960521611]
視覚言語アクション(VLA)モデルは、大規模な事前訓練を通じて強力な一般化を実現するが、現実の展開には幅広い汎用性に加えて、専門家レベルのタスク能力が必要である。
VLAモデルの既存のトレーニング後のアプローチは、通常、オフライン、シングルロボット、タスク固有である。
本稿では,一般VLAモデルのオンライン,分散,マルチタスクのポストトレーニングを物理世界に直接適用可能なスケーラブルオンラインポストトレーニングシステムを提案する。
論文 参考訳（メタデータ） (2026-01-06T14:25:11Z) - Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach [78.4812458793128]
動作チャンクの高忠実度検証に軽量な擬数推定器を適用したテスト時間スケーリングフレームワークである textbfTACO を提案する。
我々の手法は、オフライン強化学習(RL)における古典的な反探索原理に似ており、勾配のないため、計算上の大きな恩恵をもたらす。
論文 参考訳（メタデータ） (2025-12-02T14:42:54Z) - Taming the Long-Tail: Efficient Reasoning RL Training with Adaptive Drafter [52.111923076688505]
強力な推論能力を持つ大規模言語モデル(LLM)のトレーニングは、複雑な問題解決において新たなフロンティアを解放する重要なマイルストーンとなる。
本稿では,適応的投機的復号化を組み込むことで,RL学習の無作為に推論を高速化するシステムであるTLTを提案する。
論文 参考訳（メタデータ） (2025-11-20T18:59:25Z) - ActiveVLN: Towards Active Exploration via Multi-Turn RL in Vision-and-Language Navigation [57.399685080574756]
既存のMLLMベースのVLNメソッドは模倣学習(IL)に依存しており、ポストトレーニングにDAggerを使用することが多い。
マルチターンRLによるアクティブな探索を可能にするVLNフレームワークであるActiveVLNを提案する。
実験の結果,ActiveVLN は DAgger ベースと RL ベースのポストトレーニング手法と比較して,IL ベースラインよりも最大の性能向上を実現していることがわかった。
論文 参考訳（メタデータ） (2025-09-16T03:31:46Z) - ViaRL: Adaptive Temporal Grounding via Visual Iterated Amplification Reinforcement Learning [68.76048244253582]
ビデオ理解におけるフレーム選択の最適化にルールベース強化学習(RL)を利用する最初のフレームワークであるViaRLを紹介する。
ViaRLは、下流モデルの応答精度を報奨信号として利用し、試行錯誤によってフレームセレクタを訓練する。
ViaRLは、多様なビデオ理解タスクに対して、時間的基盤性能と堅牢な一般化を一貫して提供します。
論文 参考訳（メタデータ） (2025-05-21T12:29:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。