論文の概要: Representation Collapse in Sequential Post-Training of Large Language Models

• arxiv url: http://arxiv.org/abs/2605.30524v1
• Date: Thu, 28 May 2026 19:59:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.207383
• Title: Representation Collapse in Sequential Post-Training of Large Language Models
• Title（参考訳）: 大規模言語モデルの逐次後訓練における表現の崩壊
• Authors: Yichen Liu, Mingyu Chen, Hao Wang, Xiaoran Xu, Chenxi Lin, Rui Zhang, Yutong Zhou, Yuxin Yang, Jiarui Wu, Wei Sun,
• Abstract要約: 逐次後学習が内部表現を低ランク,異方性,均一な特徴空間に徐々に圧縮するかどうかを考察する。 我々は,制御段階順序下での教師付き微調整,選好最適化,安全/拒絶チューニング,数学とコードの特殊化,および長いチェーン・オブ・シンキングを解析した。
• 参考スコア（独自算出の注目度）: 17.437127662981847
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are now adapted through chains of post-training stages rather than through a single instruction-tuning pass. This paper studies whether such sequential post-training gradually compresses internal representations into low-rank, anisotropic, and homogeneous feature spaces. We define a measurement suite for hidden states, logits, token trajectories, and LoRA updates, and we use it to analyze supervised fine-tuning, preference optimization, safety/refusal tuning, math and code specialization, and long chain-of-thought tuning under controlled stage orderings. The central hypothesis is that excessive representation concentration is not merely a geometric curiosity: it predicts reduced plasticity during later adaptation, weaker out-of-domain generalization, and poorer calibration. We further evaluate lightweight interventions, including mixed-domain replay, feature refresh, representation diversity regularization, and LoRA update decorrelation, as ways to preserve future learnability without giving up the behavioral gains of post-training.
• Abstract（参考訳）: 大規模言語モデルは1つの命令チューニングパスではなく、後学習段階の連鎖によって適応される。 本稿では、このような逐次後学習が徐々に内部表現を低ランク、異方性、均一な特徴空間に圧縮するかどうかを考察する。 我々は,隠蔽状態,ロジット,トークントラジェクトリ,LoRA更新のための測定スイートを定義し,制御段階順序下での教師付き微調整,選好最適化,安全/拒絶チューニング,数学とコードの特殊化,長いチェーン・オブ・シンキングを解析するために使用する。 中心的な仮説は、過剰な表現濃度は単なる幾何学的好奇心ではなく、後の適応中に可塑性を減少させ、領域外一般化を弱め、キャリブレーションを弱める、というものである。 さらに,複合ドメインのリプレイ,特徴のリフレッシュ,表現多様性の正規化,LoRA更新のデコレーションといった軽量な介入を,ポストトレーニングの行動的利得を諦めることなく,将来の学習性を維持する方法として評価した。

関連論文リスト

• Continual Segmentation under Joint Nonstationarity [8.522964568257455]
  進化するデータストリームは連続的なセマンティックセグメンテーションにおいて関節の非定常性を誘導する。 この設定は、実際に構築された予測システムを反映しているが、従来の連続的な学習作業では、ほとんど探索されていない。 連成クラス,ドメイン,ラベルのシフトの下で連続的なセグメンテーションを定式化し,異種密接な予測環境における学習について検討する。
  論文  参考訳（メタデータ） (2026-05-19T22:20:00Z)
• Next-Acceleration-Scale Prediction for Autoregressive MRI Reconstruction [52.32112533846212]
  MRI再建は本質的に不完全な逆問題である。 この制限は、再構成を離散的なマルチスケールの潜在空間に移動させ、自己回帰的次加速スケールの予測として機能させることによって解決する。 提案手法は,過度のアンサンプ下での多種多様なサンプリングパターンの再構成性能の向上を図っている。
  論文  参考訳（メタデータ） (2026-05-19T04:40:50Z)
• Deriving Hyperparameter Scaling Laws via Modern Optimization Theory [55.63126290312615]
  線形最小化Oracle(LMO)に基づく手法の最近の一階境界について検討する。 近年の文献のバウンダリをプロキシとして扱い、異なるチューニング規則をまたいでそれらを最小化することで、学習率、運動量、バッチサイズに関するクローズドフォームのパワーロースケジュールが得られる。 本研究の結果は, 運動量とバッチサイズスケーリングの相互作用に特に注意を払っており, いくつかのスケーリング戦略によって最適性能が達成される可能性が示唆された。
  論文  参考訳（メタデータ） (2026-03-16T22:21:27Z)
• Alternating Reinforcement Learning for Rubric-Based Reward Modeling in Non-Verifiable LLM Post-Training [29.56905427210088]
  Gragient-ARMは、好みのフィードバックから強化学習を使用するルーリックジェネレータとジャッジを共同で最適化するフレームワークである。 ベンチマークのベースライン間で、勾配-ARMは最先端のパフォーマンスを達成し、オフラインおよびオンラインの強化学習設定において、ダウンストリームポリシーアライメントを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2026-02-02T00:50:53Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Trajectory Forecasting through Low-Rank Adaptation of Discrete Latent Codes [36.12653178844828]
  トラジェクトリ予測は、一連のエージェントの将来の動きを予測できるため、ビデオ監視分析に不可欠である。 本稿では,離散潜在空間を用いたベクトル量子変分オートエンコーダ(VQ-VAEs)を導入し,後方崩壊問題に対処する。 このような2段階のフレームワークは、インスタンスレベルの離散化によって強化され、正確で多様な予測につながることを示す。
  論文  参考訳（メタデータ） (2024-05-31T10:13:17Z)
• DR-Tune: Improving Fine-tuning of Pretrained Visual Models by Distribution Regularization with Semantic Calibration [38.4461170690033]
  セマンティックキャリブレーションを用いた分布正規化(DR-Tune)という,新しい微調整フレームワークを提案する。 DR-Tuneは、下流タスクヘッドを強制して、事前訓練された特徴分布の分類誤差を低減することで、分散正則化を採用する。 セマンティックドリフトによる干渉を軽減するため,セマンティックキャリブレーション(SC)モジュールを開発した。
  論文  参考訳（メタデータ） (2023-08-23T10:59:20Z)
• Debiased Fine-Tuning for Vision-language Models by Prompt Regularization [56.48290708901531]
  本稿では,Prompt Regularization(ProReg)と呼ばれる下流タスクにおける大規模視覚事前訓練モデルの微調整のための新しいパラダイムを提案する。 ProRegは、事前訓練されたモデルに微調整を正規化するよう促すことで予測を使用する。 本稿では,従来の微調整,ゼロショットプロンプト,プロンプトチューニング,その他の最先端手法と比較して,ProRegの性能が一貫して高いことを示す。
  論文  参考訳（メタデータ） (2023-01-29T11:53:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。