論文の概要: The Low-Rank Structure of VLA Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.34599v1
• Date: Mon, 28 Sep 2026 08:32:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 12:01:54.170754
• Title: The Low-Rank Structure of VLA Reinforcement Learning
• Title（参考訳）: VLA強化学習における低ランク構造
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、視覚-言語-行動モデル(VLA)の訓練後モデルに使用される。 本稿では,パラメータ空間における学習信号のエンコード方法を検討することによって,RLがVLAポリシーにどう影響するかを検討する。
• 参考スコア（独自算出の注目度）: 12.712140357467346
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) is increasingly used to post-train vision-language-action (VLA) models, yet how RL reshapes these policies remains poorly understood. We find that RL across widely used flow-based VLA models, including $π_{0.5}$ and GR00T~N1.5/N1.6, on LIBERO, ManiSkill, MetaWorld, and CALVIN induces substantially lower-rank parameter updates that are highly concentrated in the action expert's Timestep Modules, a small and previously overlooked component. Through systematic module-replacement experiments, we further show that these modules capture a disproportionate share of the performance gains from RL. We then characterize what is encoded in these Timestep Modules. First, we show that RL specializes them to the discrete denoising timesteps used during rollouts, and that this discrete-timestep training underlies the low-rank updates. Second, we find that among their outputs, the shift vector changes most distinctly under RL, and through probing, we show that shift update directions strongly predict task success (ROC-AUC up to $99.6\%$). Third, we find that the geometry of shift updates reflects task relationships, as their pairwise similarity correlates with cross-task transfer patterns. Building on these findings, we show that steering along shift update directions further improves RL-trained policies without additional RL training. Overall, we provide a systematic understanding of how RL reshapes VLA policies by studying how learned signals are encoded in parameter space, offering insights into more efficient and interpretable VLA post-training.
• Abstract（参考訳）: 強化学習 (Reinforcement Learning, RL) は、視覚-言語-行動モデル (VLA) の訓練後モデルにますます使われているが、RLがこれらの方針をどう再認識するかはいまだよく分かっていない。 LIBERO, ManiSkill, MetaWorld, CALVIN 上の $π_{0.5}$ と GR00T~N1.5/N1.6 を含む,広く使用されているフローベース VLA モデル全体で RL が,アクションエキスパートのTimestep Modules に高度に集中したかなり低ランクなパラメータ更新を誘導することがわかった。 さらに,モジュール置換実験により,これらのモジュールがRLによる性能向上の相違を捉えていることを示す。 次に、これらのTimestep Modulesにエンコードされているものを特徴付けます。 まず、RLはロールアウト時に使用する離散化タイムステップに特化しており、この離散化タイムステップトレーニングが低ランク更新の基盤となっていることを示す。 第二に、その出力のうち、シフトベクトルはRLの下では明らかに変化し、探索を通して、シフト更新方向はタスク成功を強く予測する(ROC-AUC 最大99.6\%$)。 第3に、シフト更新の幾何学がタスク関係を反映していることが分かる。 これらの結果から, シフト更新方向のステアリングにより, RL訓練を必要とせず, RL訓練が促進されることが示唆された。 全体として、学習した信号がパラメータ空間にエンコードされる方法を研究することにより、RLがVLAポリシーをどう緩和するかを体系的に理解し、より効率的で解釈可能なVLAポストトレーニングに関する洞察を提供する。

関連論文リスト

• What Does an LLM Learn from Reinforcement Learning? A Mechanistic Interpretability Perspective with Fixed-SAE Track [4.624097215050827]
  このフレームワークは、ベースモデルとすべてのRLチェックポイントにまたがるアクティベーションに基づいて、レイヤ毎の共有SAEをトレーニングする。 RLにより引き起こされるドリフトは小さく, 段階的, 概念的であり, 後期層に集中しており, 小セットのラダートークンのサンプリング率の向上が主である。
  論文  参考訳（メタデータ） (2026-09-14T05:29:45Z)
• Why Does Reinforcement Learning Generalize? A Feature-Level Mechanistic Study of Post-Training in Large Language Models [51.45122910254346]
  強化学習(RL)に基づくポストトレーニングは、トレーニングドメインを超えた大規模言語モデルの推論性能を改善することが多い。 Supervised Fine-tuning (SFT) はしばしば一般的な忘れる能力をもたらす。 制御された実験装置を用いてRL一般化を探索する特徴レベル力学解析手法を提案する。
  論文  参考訳（メタデータ） (2026-04-27T21:22:34Z)
• Simple Recipe Works: Vision-Language-Action Models are Natural Continual Learners with Reinforcement Learning [26.103428215400697]
  低ランク適応 (LoRA) の簡単なシーケンスファインチューニング (Seq. FT) は極めて強い。 VLAモデルを用いた連続RL法としてシーケンスファインタニング(Sequential Fine-Tuning)を応用した。
  論文  参考訳（メタデータ） (2026-03-12T08:22:39Z)
• SimpleVLA-RL: Scaling VLA Training via Reinforcement Learning [81.7764584515496]
  VLA(Vision-Language-Action)モデルは、ロボット操作の強力なパラダイムとして登場した。 これらのモデルは2つの根本的な課題に直面している。 VLAモデルに適した効率的な強化学習フレームワークであるSimpleVLA-RLを紹介する。
  論文  参考訳（メタデータ） (2025-09-11T17:59:17Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• Echo Chamber: RL Post-training Amplifies Behaviors Learned in Pretraining [74.83412846804977]
  強化学習(RL)に基づく微調整は、訓練後の言語モデルにおいて重要なステップとなっている。 数理推論のためのRLファインタニングを、スクラッチから完全にトレーニングモデルを用いて体系的にエンドツーエンドに研究する。
  論文  参考訳（メタデータ） (2025-04-10T17:15:53Z)
• Symmetric Reinforcement Learning Loss for Robust Learning on Diverse Tasks and Model Scales [13.818149654692863]
  強化学習(RL)トレーニングは、移動目標や高勾配分散などの要因により本質的に不安定である。 本研究では,雑音データに対する教師付き学習から逆クロスエントロピー(RCE)を適用し,対称的なRL損失を定義することにより,RLトレーニングの安定性を向上させる。
  論文  参考訳（メタデータ） (2024-05-27T19:28:33Z)
• Boosting Offline Reinforcement Learning via Data Rebalancing [104.3767045977716]
  オフライン強化学習(RL)は、学習ポリシーとデータセットの分散シフトによって問題となる。 本稿では,データセットの再サンプリングが分散サポートを一定に保っているという観察に基づいて,オフラインRLアルゴリズムをシンプルかつ効果的に向上させる手法を提案する。 ReD(Return-based Data Re Balance)メソッドをダブします。これは10行未満のコード変更で実装でき、無視できる実行時間を追加します。
  論文  参考訳（メタデータ） (2022-10-17T16:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。