論文の概要: Trust Your Instincts: Confidence-Driven Test-Time RL for Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2606.29892v1
• Date: Mon, 29 Jun 2026 07:31:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.094839
• Title: Trust Your Instincts: Confidence-Driven Test-Time RL for Vision-Language-Action Models
• Title（参考訳）: 直感を信頼する: ビジョンランゲージ・アクションモデルのための信頼駆動テストタイムRL
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、静的な模倣学習を超えてビジョン・ランゲージ・アクション・モデル(VLA)を推し進めるために欠かせないものとなっている。 本研究では,VLAモデルが有効な内部評価能力を有することを示す。 アーキテクチャに依存しないテストタイムRLフレームワークであるT2VLA(Test-time VLA)を導入し、VLAモデルによる自己ブートストラップポリシーの改善を実現する。
• 参考スコア（独自算出の注目度）: 16.942019996884273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) has become indispensable for pushing Vision-Language-Action Models (VLAs) beyond static imitation learning. However, existing RL methods typically require external environmental feedback, relying on predefined success signals to guide policy updates. In this work, we show that VLA models possess useful internal evaluative capabilities: in discrete-action VLAs, trajectories with higher generation confidence are significantly more likely to succeed. Based on this observation, we introduce T^2VLA (Test-time VLA), an architecture-agnostic test-time RL framework that enables VLA models to achieve self-bootstrapping policy improvement. Instead of relying on external rewards, T^2VLA leverages trajectory-level similarity to high-confidence expert demonstrations as an intrinsic reward signal. In addition, we propose a Confidence-Driven Dual Expert Bootstrapping mechanism, which dynamically balances a Local Pseudo-Expert for exploration and a Global Expert Pool for training stability. Extensive experiments on the LIBERO and RoboTwin benchmarks show that T^2VLA consistently outperforms supervised baselines and approaches oracle RL performance with ground-truth rewards, achieving effective improvement without external reward feedback. Furthermore, T^2VLA adapts to distinct VLA paradigms, including both OpenVLA-OFT and the pi series.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、静的な模倣学習を超えてビジョン・ランゲージ・アクション・モデル(VLA)を推し進めるために欠かせないものとなっている。 しかし、既存のRL手法は一般的に、ポリシー更新を導くために事前に定義された成功信号に依存して、外部からの環境フィードバックを必要とする。 本研究では,VLAモデルが有効な内部評価能力を有することを示す。 本稿では, アーキテクチャに依存しないテスト時間RLフレームワークであるT^2VLA(Test-time VLA)を導入する。 外部報酬に頼る代わりに、T^2VLAは本質的な報酬信号として、高信頼の専門家によるデモンストレーションと軌跡レベルの類似性を利用する。 さらに, 信頼駆動型デュアルエキスパートブートストラッピング機構を提案する。この機構は, 探索のためのローカルPseudo-Expertと, 訓練安定性のためのグローバルエキスパートプールとを動的にバランスさせる。 LIBERO と RoboTwin のベンチマークによる大規模な実験により、T^2VLA は教師付きベースラインを一貫して上回り、基礎的な報酬でオラクル RL のパフォーマンスに近づき、外部の報酬フィードバックなしで効果的な改善が達成された。 さらに、T^2VLAはOpenVLA-OFTとpiシリーズを含む異なるVLAパラダイムに適応する。

関連論文リスト

• RL$^2$-VLA: Adaptive RL Latent Compositional Steering with Test-Time Scaling for Vision-Language-Action Models [8.012549967082832]
  RL2$はVision-Language-Action(VLA)モデルの適応型推論時ステアリングフレームワークである。 VLAアクションエキスパートから抽出した表現的潜伏者に基づく軽量オフラインRLポリシーを訓練する。 この構成的ステアリング戦略は、大規模な模倣学習の行動先行と、オフラインRLによって誘導される行動多様性を結合する。
  論文  参考訳（メタデータ） (2026-07-29T14:49:56Z)
• Found-RL: foundation model-enhanced reinforcement learning for autonomous driving [15.275134927543611]
  エンドツーエンド自動運転(AD)の主流パラダイムとして強化学習(RL)が登場している。 Found-RLは、基礎モデルを使用してADのためのRLを効率的に拡張するプラットフォームである。 コアとなるイノベーションは非同期バッチ推論フレームワークで、シミュレーションループから重いVLM推論を分離する。
  論文  参考訳（メタデータ） (2026-02-11T02:56:04Z)
• Reshaping Action Error Distributions for Reliable Vision-Language-Action Models [69.38615670891038]
  ロボット操作において、視覚言語アクション(VLA)モデルは、一般化可能でスケーラブルなロボットポリシーを学ぶための有望なパラダイムとして登場した。 連続動作型VLAモデルに焦点をあて、トレーニング中の動作誤差分布を再構成することにより、従来のMSEベースの回帰を超越する。 複数の代表的VLAアーキテクチャ上で、標準、少数ショット、ノイズの多い設定にまたがるアプローチを評価します。
  論文  参考訳（メタデータ） (2026-02-04T05:37:09Z)
• CRL-VLA: Continual Vision-Language-Action Learning [40.18167835795084]
  連続強化学習は、生涯にわたるロボットシナリオにVLAモデルをデプロイするための、有望な経路である。 本稿では,厳密な理論的境界を持つVLAモデルの連続的な後学習のためのフレームワークであるCRL-VLAを紹介する。 安定塑性トレードオフと目標条件付き有利度をリンクする統一的な性能境界を,政策のばらつきによって拡張する。
  論文  参考訳（メタデータ） (2026-02-03T12:09:53Z)
• On-the-Fly VLA Adaptation via Test-Time Reinforcement Learning [61.38273866396522]
  ビジョン・ランゲージ・アクションモデルが汎用ロボット学習の強力なパラダイムとして登場した。 現在の手法は、シミュレーションや物理世界の展開に挑戦するには相変わらず適していない。 本稿では,VLA フレームワークのテスト時間強化学習について紹介する。
  論文  参考訳（メタデータ） (2026-01-11T01:51:30Z)
• Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach [78.4812458793128]
  動作チャンクの高忠実度検証に軽量な擬数推定器を適用したテスト時間スケーリングフレームワークである textbfTACO を提案する。 我々の手法は、オフライン強化学習(RL)における古典的な反探索原理に似ており、勾配のないため、計算上の大きな恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-12-02T14:42:54Z)
• RobustVLA: Robustness-Aware Reinforcement Post-Training for Vision-Language-Action Models [33.503927352666096]
  Vision-Language-Action (VLA)モデルは、配布外デプロイメントにおいて確実に一般化できない。 本稿では,VLAモデルのレジリエンスを明示的に向上するための軽量オンラインRLポストトレーニング手法であるRobustVLAを紹介する。 本研究は,VLAモデルの信頼性向上とロバスト性向上に向けた重要なステップとして,ロバストネスを意識したRLポストトレーニングの重要性を強調した。
  論文  参考訳（メタデータ） (2025-11-03T08:30:48Z)
• ViSurf: Visual Supervised-and-Reinforcement Fine-Tuning for Large Vision-and-Language Models [52.819394001139955]
  Supervised Fine-Tuning (SFT) と Reinforcement Learning with Verifiable Rewards (RLVR) は、LVLM(Large Vision-and-Language Models)の典型的なポストトレーニングパラダイムである。 本研究では,SFTとRLVRの長所を1段階にまとめる統合後学習パラダイムViSurfを提案する。 ViSurfの中核は、RLVRのロールアウトに基調ラベルを注入することであり、同時に外部監視と内部強化を提供する。
  論文  参考訳（メタデータ） (2025-10-12T13:42:55Z)
• SimpleVLA-RL: Scaling VLA Training via Reinforcement Learning [81.7764584515496]
  VLA(Vision-Language-Action)モデルは、ロボット操作の強力なパラダイムとして登場した。 これらのモデルは2つの根本的な課題に直面している。 VLAモデルに適した効率的な強化学習フレームワークであるSimpleVLA-RLを紹介する。
  論文  参考訳（メタデータ） (2025-09-11T17:59:17Z)
• VL-GenRM: Enhancing Vision-Language Verification via Vision Experts and Iterative Training [23.391643634478587]
  Vision-Language Reward Model (VL-RM) は、構造化されたフィードバックを提供することでVLモデルを整列させる鍵となる。 高品質のトレーニングデータがすでに強力なVLモデルに依存しているため、ブートストラップジレンマが発生する。 本稿では,視覚の専門家,思考の合理性,およびMarginベースのリジェクションサンプリングを活用した反復的トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-16T18:10:51Z)
• Learning to Reason without External Rewards [100.27210579418562]
  RLVR(Reinforcement Learning with Verifiable Rewards)による複雑な推論のための大規模言語モデル(LLM)の訓練は、費用がかかるドメイン固有の監督に依存して効果的であるが制限されている。 内部フィードバックからの強化学習(Reinforcement Learning from Internal Feedback, RLIF)は、LLMが外部の報酬やラベル付きデータなしで本質的な信号から学習できるフレームワークである。 本稿では,モデル自身の信頼度を利用したRLIF手法であるIntuitorについて,その唯一の報奨信号として自己確実性(self-certainty)を提案する。
  論文  参考訳（メタデータ） (2025-05-26T07:01:06Z)
• VL-RewardBench: A Challenging Benchmark for Vision-Language Generative Reward Models [66.56298924208319]
  視覚言語生成報酬モデル(VL-GenRM)は、マルチモーダルAIシステムの調整と評価において重要な役割を果たす。 現在の評価方法は、主に従来のタスクからのAIアノテーション付き好みラベルに依存している。 VL-RewardBenchは、一般的なマルチモーダルクエリ、視覚幻覚検出、複雑な推論タスクにまたがる包括的なベンチマークである。
  論文  参考訳（メタデータ） (2024-11-26T14:08:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。