論文の概要: Behavioral Steering of Vision-Language-Action Models in the Low-Parameter Regime

• arxiv url: http://arxiv.org/abs/2611.00522v1
• Date: Sat, 31 Oct 2026 01:23:01 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:22:28.165295
• Title: Behavioral Steering of Vision-Language-Action Models in the Low-Parameter Regime
• Title（参考訳）: 低パラメータレジームにおけるビジョン・ランゲージ・アクションモデルの挙動ステアリング
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、事前訓練された視覚言語行動モデル(VLA)に適応するためにますます用いられる。 動作ステアリングの問題点として,VLAの実行スタイルをオブジェクトを高く搬送するといった嗜好に適応させることについて検討する。 非常に低次元の更新は、事前訓練されたVLAの動作をアダプタ容量、選択、および更新スケーリングで制御できる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Reinforcement learning (RL) is increasingly used to adapt pretrained vision-language-action models (VLAs). We investigate the problem of behavioral steering: adapting a VLA's execution style to preferences such as carrying objects higher. To investigate how little trainable capacity such steering requires and how much pretrained capability can be retained, we freeze an OpenVLA-OFT 7B policy and optimize TinyLoRA adapters with 8 to 384 trainable parameters using either policy-gradient RL (GRPO) or evolutionary search (CMA-ES). With just 256 trainable parameters, we raise carry height by 120 mm on trained tasks at 92% success and by 74 mm on a held-out task at 80% success. By rescaling the learned update, we can tune the trade-off between style gains and capability retention without retraining. Increasing adapter capacity generally improves this trade-off, retaining more pretrained capability at comparable style gains. The choice of optimizer also depends on capacity, with CMA-ES being competitive at low parameter counts, while GRPO offers better trade-offs as capacity grows. These findings show that extremely low-dimensional updates can steer pretrained VLA behavior, with adapter capacity, optimizer choice, and update scaling offering practical control over adaptation and retention.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、事前訓練された視覚言語行動モデル(VLA)に適応するために用いられる。 本稿では,VLAの実行スタイルを,より高い物を運ぶなどの嗜好に適応させるという,行動ステアリングの問題点について考察する。 このような操舵能力の不足や事前訓練能力の維持について検討するため,OpenVLA-OFT 7B ポリシを凍結し,ポリシー勾配 RL (GRPO) または進化探索 (CMA-ES) を用いて8～384個のトレーニング可能なパラメータを持つ TinyLoRA アダプタを最適化した。 トレーニング可能なパラメータは256に過ぎず、トレーニングされたタスクでは120mm、成功率では92%、成功率では74mmである。 学習した更新を再スケールすることで、スタイルゲインと能力維持の間のトレードオフを、再トレーニングせずに調整できます。 アダプタ容量の増大は、一般的にこのトレードオフを改善し、同等のスタイルゲインで事前訓練された能力を維持する。 オープティマイザの選択もキャパシティに依存しており、CMA-ESは低いパラメータ数で競合する一方、GRPOはキャパシティが大きくなるにつれてトレードオフが良くなる。 これらの結果から,極低次元更新は,適応性や保持性に対する実用的な制御を提供するアダプタ容量,オプティマイザ選択,更新スケーリングなど,事前訓練されたVLAの挙動を制御できることが示唆された。

関連論文リスト

• EXPO-FT: Sample-Efficient Reinforcement Learning Finetuning for Vision-Language-Action Models [84.73890225707264]
  提案するEXPO-FTは,事前学習したVLAポリシーの安定かつサンプル効率の良いRL微調整システムである。 本システムは,オンラインロボットデータの平均19.1分以内の全ての評価課題に対して,完全なタスク性能(30/30の成功)を実現する。 我々は、ロボット工学におけるVLAモデルのより広範なRLファインタニング導入を促進することを目的とした、オープンソースのロバスト性をリリースする。
  論文  参考訳（メタデータ） (2026-05-25T06:31:03Z)
• MetaClaw: Just Talk -- An Agent That Meta-Learns and Evolves in the Wild [74.7263562191605]
  大規模言語モデル(LLM)エージェントは、複雑なタスクにますます使われている。 既存の方法は、知識を蒸留せずに生の軌跡を保存するか、静的なスキルライブラリを維持するか、または再訓練のために破壊的なダウンタイムを必要とする。 本稿では,基本的なLCMポリシと再利用可能な行動スキルのライブラリを共同で進化させるメタ学習フレームワークであるMetaClawを紹介する。
  論文  参考訳（メタデータ） (2026-03-17T22:30:30Z)
• QuRL: Efficient Reinforcement Learning with Quantized Rollout [23.326106976928898]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデル(LLM)の学習におけるトレンドパラダイムとなっている。 LLMの自己回帰復号性のため、ロールアウトプロセスはRLトレーニングの効率ボトルネックとなり、総トレーニング時間の最大70%を占める。 本稿では,Quantized Reinforcement Learning(QuRL)を提案する。
  論文  参考訳（メタデータ） (2026-02-15T01:48:10Z)
• SimpleVLA-RL: Scaling VLA Training via Reinforcement Learning [81.7764584515496]
  VLA(Vision-Language-Action)モデルは、ロボット操作の強力なパラダイムとして登場した。 これらのモデルは2つの根本的な課題に直面している。 VLAモデルに適した効率的な強化学習フレームワークであるSimpleVLA-RLを紹介する。
  論文  参考訳（メタデータ） (2025-09-11T17:59:17Z)
• Supervised Fine Tuning on Curated Data is Reinforcement Learning (and can be improved) [3.13388270461847]
  我々は、教師付き微調整(SFT)と強化学習(RL)による最適政策の発見理論と実践との関係を描いている。 SFTに小さな修正を加えることで、RLのトレーニングに近く行動する重み付き変異が重要となることを示す。 我々は、この変種を重み付けされた教師付き微調整(iw-SFT)として参照する。
  論文  参考訳（メタデータ） (2025-07-17T07:26:54Z)
• Model Extrapolation Expedites Alignment [135.12769233630362]
  本研究では,人選好によるアライメントトレーニングを迅速化するExPOという手法を提案する。 我々は、ExPOがトレーニングされたDPOモデルを20%のステップで強化し、完全に訓練されたモデルを上回ることを実証した。 ExPO は AlpacaEval 2.0 と MT-Bench ベンチマークにおいて,既存のオープンソース LLM を特に改善している。
  論文  参考訳（メタデータ） (2024-04-25T17:39:50Z)
• TAIL: Task-specific Adapters for Imitation Learning with Large Pretrained Models [32.83440439290383]
  TAIL(Task-specific Adapters for Learning)は,新しい制御タスクに効率的に適応するためのフレームワークである。 言語領域におけるパラメータ効率の良い微調整の最近の進歩に触発されて,効率的な微調整技術を探究する。 大規模言語条件の操作タスクにおける実験から,LoRAを用いたTAILは適応後最高の性能が得られることが示唆された。
  論文  参考訳（メタデータ） (2023-10-09T17:49:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。