Fugu-MT 論文翻訳(概要): Learning to Steer, Steering to See: Unveiling the Geometry of RLVR in Large Language Models via Trainable Vectors

論文の概要: Learning to Steer, Steering to See: Unveiling the Geometry of RLVR in Large Language Models via Trainable Vectors

arxiv url: http://arxiv.org/abs/2609.34344v1
Date: Mon, 28 Sep 2026 05:21:39 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-03 21:42:50.7972
Title: Learning to Steer, Steering to See: Unveiling the Geometry of RLVR in Large Language Models via Trainable Vectors
Title（参考訳）: ステアリングとステアリング:訓練可能なベクトルによる大規模言語モデルにおけるRLVRの幾何学の展開
Abstract要約: 強化学習(Reinforcement Learning, RL)は、大規模言語モデルの推論を強化するための重要なパラダイムとなっている。検証可能な報酬(RLVR)を用いて強化学習を行い、ベクトルステアリングを用いて、RL誘導利得に関連する活性化空間における低次元有効多様体を同定する。
参考スコア（独自算出の注目度）: 23.304734251005808
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Reinforcement learning (RL) has become a key paradigm for enhancing the reasoning of large language models, yet the high dimensionality of parameter updates makes its training dynamics hard to analyze. We study reinforcement learning with verifiable rewards (RLVR) and use vector steering to identify a low-dimensional effective manifold in activation space associated with RL-induced gains. We uncover two geometric properties. (1) Effective Manifold Capacity: the capacity needed to reproduce RL gains can be very small but is not infinitely compressible; at extremely low capacity, intervention dimensionality and input-dependent expressiveness become key constraints, and this requirement varies with injection depth. (2) Control Manifold Separation: effective control directions lie mainly in the low-variance complement of the activation principal subspace. Within a task and base model, the learned geometry stays largely consistent across training configurations, and across tasks geometric alignment correlates with capability transfer. Experiments on 5 LLMs and 6 verifiable-reward tasks support these findings. We then propose Alpha-Stabler, a plug-and-play framework with a Predictor that monitors principal-subspace intrusion for early collapse warnings, and a Controller that removes the principal-subspace component of activation gradients during backpropagation while preserving the orthogonal complement. Alpha-Stabler stabilizes training for 2,000 steps and consistently improves RL gains, offering practical insights for robust post-training. Code: https://github.com/caiyuchen-ustc/On_Policy_Vector_Training
Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、大規模言語モデルの推論を強化する重要なパラダイムとなっているが、パラメータ更新の高次元性は、そのトレーニング力学を解析しにくくしている。検証可能な報酬(RLVR)を用いて強化学習を行い、ベクトルステアリングを用いて、RL誘導利得に関連する活性化空間における低次元有効多様体を同定する。 2つの幾何学的性質を明らかにする。 1) 有効マニフォールド容量: RLゲインの再生に必要な容量は非常に小さくても無限に圧縮できない。 2) 制御マニフォールド分離: 有効制御方向は主に活性化主部分空間の低分散補間にある。タスクとベースモデル内では、学習されたジオメトリはトレーニング設定間で大きく整合し、タスク間の幾何アライメントは能力伝達と相関する。 5つのLLMと6つの検証逆タスクの実験は、これらの発見を裏付けるものである。そこで我々は,早期崩壊警告の主部分空間侵入を監視するPredictorと,直交補体を保ちながらバックプロパゲーション中のアクティベーション勾配の主部分空間成分を除去するControllerを備えたプラグイン・アンド・プレイ・フレームワークであるAlpha-Stablerを提案する。 Alpha-Stablerは2000ステップのトレーニングを安定させ、RLゲインを継続的に改善し、堅牢な後トレーニングのための実用的な洞察を提供する。コード:https://github.com/caiyuchen-ustc/On_Policy_Vector_Training

関連論文リスト

What Does an LLM Learn from Reinforcement Learning? A Mechanistic Interpretability Perspective with Fixed-SAE Track [4.624097215050827]
このフレームワークは、ベースモデルとすべてのRLチェックポイントにまたがるアクティベーションに基づいて、レイヤ毎の共有SAEをトレーニングする。 RLにより引き起こされるドリフトは小さく, 段階的, 概念的であり, 後期層に集中しており, 小セットのラダートークンのサンプリング率の向上が主である。
論文参考訳（メタデータ） (2026-09-14T05:29:45Z)
On the Geometry of On-Policy Distillation [22.873898953554605]
我々は,大規模言語モデル推論を改善するために,政治蒸留(OPD)について検討する。教師付き微調整(SFT)と強化学習(RLVR)を比較した。我々は、PDが単にSFTとRLVRの中間点であるだけでなく、パラメータ空間における独自の更新幾何を誘導することを発見した。
論文参考訳（メタデータ） (2026-06-05T09:20:15Z)
Learning in Low-Dimensional Subspaces: Orthogonal Bottlenecks for Reinforcement Learning [47.218458651895766]
低次元部分空間にエンコーダ特徴を制約するために固定正則射影を挿入する表現レベル前処理を提案する。線形実現可能性仮定の下では、ボトルネック次元が特徴空間における最適値関数の内在的なランクを超えた場合、ボトルネックは表現性を保存する。シングルタスクとマルチタスクのベンチマークで、ボトルネック次元がタスク依存のしきい値を超えると、ベースラインのパフォーマンスが一致または改善されることがわかった。
論文参考訳（メタデータ） (2026-05-25T16:31:33Z)
On the Implicit Reward Overfitting and the Low-rank Dynamics in RLVR [51.935533482549545]
RLVRはトレーニングデータセットに過度に適合する暗黙の報酬を示す可能性がある。モデルは、トレーニングプロセス中に報酬が比較的低いままであっても、テストセット上で満足なパフォーマンスを達成することができる。
論文参考訳（メタデータ） (2026-05-07T16:30:28Z)
Why Does Reinforcement Learning Generalize? A Feature-Level Mechanistic Study of Post-Training in Large Language Models [51.45122910254346]
強化学習(RL)に基づくポストトレーニングは、トレーニングドメインを超えた大規模言語モデルの推論性能を改善することが多い。 Supervised Fine-tuning (SFT) はしばしば一般的な忘れる能力をもたらす。制御された実験装置を用いてRL一般化を探索する特徴レベル力学解析手法を提案する。
論文参考訳（メタデータ） (2026-04-27T21:22:34Z)
Low-rank Optimization Trajectories Modeling for LLM RLVR Acceleration [88.7332439088792]
大規模言語モデル(LLM)に対する検証可能な報酬(RLVR)による強化学習のスケーリングが,効果的なトレーニングパラダイムとして登場した。我々は低ランク軌跡のtextbfNonlinear textbfExtrapolation(textbfNExt)を提案する。計算オーバーヘッドを約37.5%削減し,RLVRアルゴリズムやタスクとの互換性を維持した。
論文参考訳（メタデータ） (2026-04-13T13:28:12Z)
The Path Not Taken: RLVR Provably Learns Off the Principals [85.41043469428365]
スパーシティはモデル条件の最適化バイアスの表面積であることを示す。我々はこれらの力学を三ゲージ理論で機械的に説明する。本稿では,RLVRの学習力学のパラメータレベルの特徴付けを行う。
論文参考訳（メタデータ） (2025-11-11T18:49:45Z)
Spatial-SSRL: Enhancing Spatial Understanding via Self-Supervised Reinforcement Learning [93.19037653970622]
本研究では,通常のRGBやRGB-D画像から直接検証可能な信号を導出する自己教師付きRLパラダイムである空間SSRLを紹介する。我々のタスクの訓練は、一般的な視覚能力を維持しながら空間的推論を大幅に改善する。以上の結果から,単純で本質的な監視がRLVRを大規模に実現し,LVLMの空間知能を高めるための実践的経路が示唆された。
論文参考訳（メタデータ） (2025-10-31T16:30:08Z)
From Supervision to Exploration: What Does Protein Language Model Learn During Reinforcement Learning? [76.288870982181]
タンパク質言語モデル(PLM)は、大規模事前学習と拡張性のあるアーキテクチャを通じて高度な計算タンパク質科学を持つ。強化学習(RL)は探索を拡大し、タンパク質設計における正確な多目的最適化を可能にした。 RLはサンプリング効率を向上し,さらに重要な点として,教師あり学習で捉えない能力を明らかにするかどうかを問う。
論文参考訳（メタデータ） (2025-10-02T01:31:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。