論文の概要: ExToken: Structured Exploration for Efficient Vision-Language-Action Reinforcement Fine-tuning
- arxiv url: http://arxiv.org/abs/2607.12931v1
- Date: Tue, 14 Jul 2026 16:04:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-15 17:08:30.219468
- Title: ExToken: Structured Exploration for Efficient Vision-Language-Action Reinforcement Fine-tuning
- Title（参考訳）: ExToken: 効率的なビジョンランゲージ・アクション強化ファインタニングのための構造化探索
- Abstract要約: 強化学習(Reinforcement Learning, RL)は、複雑な操作タスクにおけるビジョン・ランゲージ・アクション(VLA)モデルを改善する重要な可能性を示している。
本稿では,現在のVLA-RLフレームワークにおける探索の停滞ボトルネックについて検討する。
本稿では,VLA ポリシーを個別の行動事前に規定する簡易かつ汎用的なフレームワークである RL Exploration Token (ExToken) を紹介する。
- 参考スコア（独自算出の注目度）: 53.17987412112712
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement Learning (RL) has demonstrated significant potential for improving Vision-Language-Action (VLA) models on complex manipulation tasks. However, its practical scalability remains severely limited by the substantial cost of environmental interactions. In this work, we first investigate the exploration stagnation bottleneck in current VLA-RL frameworks and reveal that trajectory diversity is fundamentally more important to sample efficiency than the sheer quantity of collected rollouts. Motivated by these insights, we introduce RL Exploration Token (ExToken), a simple yet general framework that condition VLA policies on discrete behavioral priors derived from offline demonstrations for structured exploration. By conditioning the policy on different tokens during rollout collection, ExToken encourages the agent to explore diverse behavioral modes, substantially improving state-action coverage and exploration efficiency. To bridge exploration during training with deterministic inference at deployment, ExToken further incorporates a state-conditioned token selector that adaptively predicts effective behavioral modes for unseen scenarios. Extensive experiments across simulated and real-world robotic manipulation tasks demonstrate that ExToken consistently accelerates convergence, improves task performance, and exhibits strong robustness under highly constrained interaction budgets.
- Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、複雑な操作タスクにおけるビジョン・ランゲージ・アクション(VLA)モデルを改善する重要な可能性を示している。
しかし、その実用的スケーラビリティは、環境相互作用のかなりのコストによって著しく制限されている。
本研究では,現在のVLA-RLフレームワークにおける探索の停滞ボトルネックについて検討し,収集したロールアウト量よりもトラジェクトリの多様性がサンプリング効率において重要であることを明らかにした。
これらの知見に触発されたRL Exploration Token(ExToken)は、構造化された探索のためのオフラインデモンストレーションから派生した、離散的な振る舞いの事前にVLAポリシーを条件付ける、シンプルだが一般的なフレームワークである。
ロールアウトコレクション中に異なるトークンにポリシーを条件付けすることで、ExTokenはエージェントに対して多様な行動モードを探索することを奨励し、状態-行動カバレッジと探索効率を大幅に改善する。
ExTokenはさらに、デプロイ時の決定論的推論によるトレーニング中の探索をブリッジするために、状態条件付きトークンセレクタを組み込んで、目に見えないシナリオに対して効果的な行動モードを適応的に予測する。
シミュレーションおよび実世界のロボット操作タスクにわたる大規模な実験は、ExTokenが一貫して収束を加速し、タスク性能を改善し、高度に制約された相互作用予算の下で強い堅牢性を示すことを示した。
関連論文リスト
- RL$^2$-VLA: Adaptive RL Latent Compositional Steering with Test-Time Scaling for Vision-Language-Action Models [8.012549967082832]
RL2$はVision-Language-Action(VLA)モデルの適応型推論時ステアリングフレームワークである。
VLAアクションエキスパートから抽出した表現的潜伏者に基づく軽量オフラインRLポリシーを訓練する。
この構成的ステアリング戦略は、大規模な模倣学習の行動先行と、オフラインRLによって誘導される行動多様性を結合する。
論文 参考訳（メタデータ） (2026-07-29T14:49:56Z) - Learning to Watch: Active Video Anomaly Understanding via Interleaved Policy Optimization [56.150184676745205]
ビデオ異常理解(VAU)は、スパースでコンテキストに依存した手がかりに依存している。
本稿では,映像理解をアクティブな逐次意思決定プロセスとして再認識するクローズドループフレームワークである$Anomtext-$を提案する。
人間のビデオレビュー行動に触発されたこのフレームワークは、内部の認知的推論と戦略的エビデンスを、インターリーブされたポリシーに統一する。
論文 参考訳（メタデータ） (2026-07-01T08:41:49Z) - Nudging Beyond the Comfort Zone: Efficient Strategy-Guided Exploration for RLVR [53.27792011950384]
検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論能力を改善するためのスケーラブルなパラダイムとして登場した。
我々は、RLVRにおける構造化及び多様性駆動探索のためのフレームワークであるNudgeRLを提案する。
当社のアプローチでは,各ロールアウトを,軽量で戦略レベルのコンテキストに設定するストラテジーナッジを導入しています。
論文 参考訳（メタデータ） (2026-05-15T08:22:59Z) - AIPO: Learning to Reason from Active Interaction [54.10819421625103]
AIPOは、ポリシーモデルが、推論ボトルネックに遭遇するときに、3つの機能的協調エージェントを積極的に相談することを可能にする。
AIPOは推論性能を継続的に改善し、異なるポリシーモデルとRLVRアルゴリズムをまたいで堅牢に一般化し、ポリシーモデルの推論能力境界を効果的に拡張する。
論文 参考訳（メタデータ） (2026-05-08T19:06:55Z) - Act, Think or Abstain: Complexity-Aware Adaptive Inference for Vision-Language-Action Models [7.802379200026965]
認識状態の複雑さに基づいてVLA実行を動的にルーティングする適応型フレームワークを提案する。
我々のアプローチは、VLAの視覚言語バックボーンを、パラメトリックおよび非パラメトリック推定器のアンサンブルに潜伏埋め込みを投影することにより、アクティブな検出ツールに変換する。
論文 参考訳（メタデータ） (2026-03-05T13:14:41Z) - SCALE: Self-uncertainty Conditioned Adaptive Looking and Execution for Vision-Language-Action Models [21.133970394496327]
VLA(Vision-Language-Action)モデルが汎用ロボット制御の有望なパラダイムとして登場した。
現在のテストタイムスケーリング(TTS)メソッドでは、追加のトレーニング、検証、複数フォワードパスが必要になるため、デプロイには実用的ではない。
我々は,「自己不確実性」に基づく視覚的知覚と行動を協調的に調節するシンプルな推論戦略を提案する。
論文 参考訳（メタデータ） (2026-02-04T04:48:16Z) - \ extsc{NaVIDA}: Vision-Language Navigation with Inverse Dynamics Augmentation [50.027425808733994]
textscNaVIDAは、ポリシー学習とアクショングラウンドの視覚力学と適応実行を結合した統合VLNフレームワークである。
textscNaVIDAは、チャンクベースの逆ダイナミクスによるトレーニングを強化し、視覚変化と対応するアクションの因果関係を学習する。
実験の結果,textscNaVIDAはパラメータが少ない最先端の手法に比べてナビゲーション性能が優れていることがわかった。
論文 参考訳（メタデータ） (2026-01-26T06:16:17Z) - DEAS: DEtached value learning with Action Sequence for Scalable Offline RL [46.40818333031899]
Action Sequence(DEAS)は、アクションシーケンスをバリュー学習に活用する、シンプルだが効果的なオフラインRLフレームワークである。
DEASはOGBenchの複雑な長期タスクのベースラインを一貫して上回る。
大規模ビジョン・ランゲージ・アクションモデルの性能向上に応用できる。
論文 参考訳（メタデータ） (2025-10-09T03:11:09Z) - Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models [63.69856480318313]
AGILEは、対話的なプロセスとしてジグソー解決を定式化し、モデルが環境に徐々に関与できるようにする。
我々は AGILE がジグソータスクの性能を大幅に向上させることを示す。
また、9つの一般的な視覚タスクに対して強力な一般化を示し、平均3.1%の改善を実現した。
論文 参考訳（メタデータ） (2025-10-01T17:58:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。