論文の概要: Spectral Rank and Step-Direction Dynamics in Language-Model Post-Training
- arxiv url: http://arxiv.org/abs/2611.11752v1
- Date: Mon, 09 Nov 2026 01:43:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:38.137062
- Title: Spectral Rank and Step-Direction Dynamics in Language-Model Post-Training
- Title(参考訳): 言語モデル後学習におけるスペクトルランクとステップ方向ダイナミクス
- Abstract要約: 言語モデルポストトレーニングは累積更新と逐次変位によって重みを変更する。
これらの観察は互換性があり、トレーニング中の更新方向を特徴付ける。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Language-model post-training modifies weights through cumulative updates and successive displacements, yet existing studies report seemingly conflicting spectral properties: nearly full-rank updates and low stable-rank changes. We show these observations are compatible and characterize update directions during training. For singular values following $σ_i \propto i^{-α}$ with $0 < α\leq 1/2$, we prove that stable rank becomes negligible relative to fixed-energy rank as dimension increases. Full singular value decompositions of selected OLMo-2-7B updates confirm this separation: three proximal policy optimization (PPO) attention updates have stable ranks of 9.6-18.3 but require 532-1,222 singular components to capture 80% of their energy. We next compute consecutive checkpoint-displacement cosines from full-model inner products. Across nine publicly released reinforcement learning from verifiable rewards (RLVR) stages, all 131 adjacent pairs have negative cosines on their native checkpoint grids, including PPO and Group Relative Policy Optimization (GRPO) trajectories. Supervised fine-tuning comparisons across four model families show configuration-dependent alignment, including negative late-training cosines for Mistral and FP32 Llama. Finally, a controlled OLMo-2-1B study with three paired seeds and a 2,048-token response cap compares group-relative advantages against a learned critic with generalized advantage estimation (GAE). At matched 60-rollout windows, late-training mean cosines are +0.259 and +0.012, respectively; the paired critic-minus-group difference is -0.247 (seed-level 95% interval [-0.358, -0.137]). These findings distinguish spectral concentration, energy coverage, and trajectory direction, and demonstrate that the advantage system influences directional alignment under matched training conditions.
- Abstract(参考訳): 言語モデルポストトレーニングでは、累積更新と連続的な変位によって重みが修正されるが、既存の研究ではスペクトル特性と矛盾しているように見える。
これらの観察は互換性があり、トレーニング中の更新方向を特徴付ける。
0 < α\leq 1/2$ である$σ_i \propto i^{-α}$ に従う特異値に対して、安定ランクは次元が増加するにつれて固定エネルギーランクに対して無視可能であることを示す。
選択されたOLMo-2-7B更新の完全な特異値分解は、この分離を裏付ける: 3つの近位ポリシー最適化(PPO)の注意更新は、9.6-18.3の安定したランクを持つが、エネルギーの80%を捉えるには532-1,222の特異成分を必要とする。
次に、フルモデル内積からの連続的なチェックポイント変位コサインを計算する。
検証可能な報酬(RLVR)段階からの9つの強化学習のうち、隣接する131つのペアは、PPOやGRPO(Group Relative Policy Optimization)などのネイティブチェックポイントグリッドに負のコサインを持つ。
4つのモデルファミリー間の微調整による比較では、MistralとFP32 Llamaに対する負の遅延訓練コサインを含む構成依存のアライメントが示される。
最後に、3対の種子と2,048トンの応答キャップを用いたOLMo-2-1Bによる制御された研究は、一般の優位性推定(GAE)による学習評論家に対するグループ相対的優位性と比較した。
一致した60ロールアウトウィンドウでは、遅延学習平均コサインは+0.259と+0.012であり、それぞれが−0.247(シードレベルの95%間隔 [-0.358, -0.137])である。
これらの知見は, スペクトル濃度, エネルギーカバレッジ, 軌道方向を識別し, 一致した訓練条件下での方向アライメントに有利なシステムが影響を与えることを示した。
関連論文リスト
- TSBPO: Tree-Structured Branching for Policy Optimization in Interactive Language Agents [5.1676007380103135]
マルチターンエージェントトレーニングにおける端末からのフィードバックは、ロールアウト割り当てとローカルクレジットの過小評価の両方を残している。
TSBPOを2つのメソッドコンポーネントで導入する。
Qwen2.5-1.5Bの俳優で、固定チェックポイントは97.79%、ALFWorldで96.64%成功している。
論文 参考訳(メタデータ) (2026-10-30T13:04:05Z) - Turing LLM Post-Training: Calibrated Distillation and Efficient Dynamic-MoE Execution [48.87945011066967]
本研究では, 動的経路混合(MoE)モデルのポストトレーニングについて検討し, コンソリデーション効率を維持しつつ, 独立的に最適化されたスペシャリストの統合に着目した。
提案手法は,教師が選択したTop-$K$サポートと教師の損失正規化とクリッピングを併用した校正型多目的蒸留(C-MOPD)と,ポストキャパシティ境界幅ディスパッチ,終局リプレイ,非同期ロールアウト-トレーニングオーバーラップを用いた実行パスを組み合わせたものである。
論文 参考訳(メタデータ) (2026-10-29T11:52:20Z) - Pairwise AUC Optimization Needs Corrective Power: A Unified View [91.5488253165522]
ペアワイドのミニバッチ更新が、より厳格なランキングエラーに対して、より強く信頼性の高い改善をもたらすかどうかを検討する。
我々の主な観察では、直接的なペアワイズトレーニングは、深刻なエラーが相変わらずありふれた領域に入ることができるが、もはや有用な修正動作は生じない。
論文 参考訳(メタデータ) (2026-10-15T12:02:54Z) - CÆNL: Collapse-Based Active Neural Learning with Objective-Aligned Representation Control [2.28438857884398]
アクティブラーニングは、後続のラベルを取得するために使われる表現を変更する。
我々は、この相互作用をCNL(Collapse-Based Active Neural Learning)を通して研究し、獲得、動的崩壊規則化(Dynamic Collapse Regularization、DCR)とその係数ポリシーを分離する。
6シードの分類比較は2つのバックボーンのそれぞれに対して、別個の制御選択と10シードの評価による104ランの試験によって補完される。
論文 参考訳(メタデータ) (2026-10-13T00:12:58Z) - Why Does Train-Validation Separation Emerge? Update-Pressure Density Dynamics in Pretrained Backbones [2.366625762160647]
列車バリデーション分離は、観測されたトレーニング例のパフォーマンスと有限のホールドアウト検証セットとの進化的な違いである。
本稿では,事前学習モデルの適応において,このギャップがどのように発達するかという構造的考察を提案する。
論文 参考訳(メタデータ) (2026-10-01T10:25:57Z) - Neural Succession: A Mesoscopic Theory of Invasion, Coexistence, and Stabilization in Continual Learning [3.0969191504482243]
本研究では,現在住民コミュニティとなっているメソスコピック・アカウントである逐次学習理論(SLT)を開発した。
その経験的座標は、入力タスクが学習される前に、常駐モデル上で測定される、指向性前侵入互換性である。
84-NISTスイートでは、互換性は保持しきい値ごとに共存と排除を分離する。
論文 参考訳(メタデータ) (2026-09-28T23:07:28Z) - GAUGE: Group-Wise View-Inconsistency Rectification for Feed-Forward 4D Tracking [48.91477882822122]
本稿では,GAUGE(Group-wise Adaptive Unsupervised Gauge Estimation)について述べる。
方向整合性と空間接続性から運動群を復元し、フレーム単位のラジアルスケールとグループレベルの変換を推定する。
D4RT, 4RC, SM4RTを含む8つのトラッカーの動的クエリポイントでは, 訂正されていない予測に対して, 終端誤差を15.1%から62.6%削減する。
論文 参考訳(メタデータ) (2026-09-26T13:14:53Z) - Luck Is Not Skill: When Do Paired Rollouts Help Group-Relative RL of LLM Agents? [2.488251122211714]
グループ相対強化学習は、同じプロンプトのロールアウトを比較するが、独立した環境ノイズはこれらの比較を曖昧にする可能性がある。
本研究は,各グループ内において,各ロールアウトの周縁分布を保ちながら,イベントキー付きノイズスケジュールを共有するペア付きロールアウトについて検討する。
片側グレーダ雑音に対して、還元の正確な条件を導出し、勾配のばらつきが増大する一方、報酬のコントラストが改善する反例を与える。
論文 参考訳(メタデータ) (2026-09-21T05:55:08Z) - WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。
アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。
凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
論文 参考訳(メタデータ) (2026-08-10T11:22:53Z) - Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
VGPOは時間次元とグループ次元の両方で値の推定を再定義する。
スパース端末の報酬を密度の高いプロセス認識値推定に変換する。
標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
論文 参考訳(メタデータ) (2025-12-13T16:31:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。