論文の概要: Tracing the Representation Geometry of Language Models from Pretraining to Post-training

• arxiv url: http://arxiv.org/abs/2509.23024v1
• Date: Sat, 27 Sep 2025 00:46:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:18.990922
• Title: Tracing the Representation Geometry of Language Models from Pretraining to Post-training
• Title（参考訳）: 事前学習から後学習までの言語モデルの表現幾何学の追跡
• Authors: Melody Zixuan Li, Kumar Krishna Agrawal, Arna Ghosh, Komal Kumar Teru, Adam Santoro, Guillaume Lajoie, Blake A. Richards,
• Abstract要約: 本研究では,事前学習と後学習にまたがる学習表現の幾何学をスペクトル的に検討する。 自己回帰事前学習中に3つの幾何位相の一貫した非単調列が発見された。 SFTとDPOは、特定の命令データや優先データを統合するために「エントロピー探索」ダイナミクスを駆動します。
• 参考スコア（独自算出の注目度）: 22.18942718274405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard training metrics like loss fail to explain the emergence of complex capabilities in large language models. We take a spectral approach to investigate the geometry of learned representations across pretraining and post-training, measuring effective rank (RankMe) and eigenspectrum decay ($\alpha$-ReQ). With OLMo (1B-7B) and Pythia (160M-12B) models, we uncover a consistent non-monotonic sequence of three geometric phases during autoregressive pretraining. The initial "warmup" phase exhibits rapid representational collapse. This is followed by an "entropy-seeking" phase, where the manifold's dimensionality expands substantially, coinciding with peak n-gram memorization. Subsequently, a "compression-seeking" phase imposes anisotropic consolidation, selectively preserving variance along dominant eigendirections while contracting others, a transition marked with significant improvement in downstream task performance. We show these phases can emerge from a fundamental interplay of cross-entropy optimization under skewed token frequencies and representational bottlenecks ($d \ll |V|$). Post-training further transforms geometry: SFT and DPO drive "entropy-seeking" dynamics to integrate specific instructional or preferential data, improving in-distribution performance while degrading out-of-distribution robustness. Conversely, RLVR induces "compression-seeking", enhancing reward alignment but reducing generation diversity.
• Abstract（参考訳）: 損失のような標準的なトレーニングメトリクスは、大きな言語モデルにおける複雑な機能の出現を説明するのに失敗する。 本稿では,事前学習および後学習における学習表現の幾何,有効ランク(RankMe)および固有スペクトル崩壊(\alpha$-ReQ)について検討する。 OLMo (1B-7B) と Pythia (160M-12B) のモデルを用いて, 自己回帰前訓練中の3つの幾何学的位相の一貫した非単調配列を明らかにする。 最初の「ウォームアップ」フェーズは、急速に表象の崩壊を示す。 これに続いて「エントロピー・シーキング」(entropy-seeking) 相が続き、多様体の次元が実質的に拡大し、ピーク n-グラムの記憶と一致する。 その後、圧縮探索(compression-seeking)相は異方性統合を課し、他者を収縮させながら支配的な固有方向に沿った分散を選択的に保存する。 これらの位相は、歪んだトークン周波数と表現的ボトルネック(d \ll |V|$)の下でのクロスエントロピー最適化の基本的な相互作用から現れることを示す。 SFTとDPOは「エントロピー探索」のダイナミクスを駆動し、特定の命令データや優先データを統合する。 逆に、RLVRは「圧縮探索」を誘導し、報酬アライメントを増強するが、生成の多様性を低下させる。

関連論文リスト

• Unsupervised Online 3D Instance Segmentation with Synthetic Sequences and Dynamic Loss [52.28880405119483]
  教師なしのオンライン3Dインスタンスのセグメンテーションは、基本的だが難しい課題だ。 UNITのような既存の手法はこの方向に進んできたが、訓練の多様性が制限されているままである。 本稿では,合成点雲列生成によるトレーニング分布の強化を目的とした新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-27T08:53:27Z)
• Learning In-context n-grams with Transformers: Sub-n-grams Are Near-stationary Points [17.339704162468042]
  In-context next-token predictionタスクで訓練されたトランスフォーマーモデルの損失状況について検討する。 特に、コンテキスト内$n$-gramの言語モデルをクロスエントロピー損失下で学習することに焦点を当てる。
  論文  参考訳（メタデータ） (2025-08-18T11:24:30Z)
• Memorization-Compression Cycles Improve Generalization [0.0]
  我々は,データスケーリングだけでなく,内部表現の圧縮によって一般化が向上することが理論的に証明されている。 記憶と圧縮の位相を切り替える学習アルゴリズムであるGAPTを提案する。 破滅的な忘れをシミュレートするように設計された設定では、GAPTは表現を圧縮して分離することで干渉を低減し、分離の97%の改善を達成する。
  論文  参考訳（メタデータ） (2025-05-13T16:37:54Z)
• Shrink the longest: improving latent space isotropy with symplicial geometry [0.0]
  本稿では, 簡易幾何学に基づく新しい正規化手法を提案し, 潜在表現の等方性を改善する。 本手法は, 微調整時の異方性を大幅に低下させながら, 下流性能の向上につながることを示す。
  論文  参考訳（メタデータ） (2025-01-09T18:44:10Z)
• Geometric Dynamics of Signal Propagation Predict Trainability of Transformers [22.25628914395565]
  深部変圧器における前方信号伝搬と勾配バック伝搬について検討する。 我々のアプローチは、変換器層を通して伝播する$nトークンの進化を扱う。 実験を通して、トレーニング終了時の最終的なテスト損失は、これらの2つの指数だけで十分に予測されていることを示す。
  論文  参考訳（メタデータ） (2024-03-05T01:30:34Z)
• Dynamic Kernel-Based Adaptive Spatial Aggregation for Learned Image Compression [63.56922682378755]
  本稿では,空間アグリゲーション機能の拡張に焦点をあて,動的カーネルベースの変換符号化を提案する。 提案したアダプティブアグリゲーションはカーネルオフセットを生成し、コンテント条件付き範囲の有効な情報をキャプチャして変換を支援する。 実験により,本手法は,最先端の学習手法と比較して,3つのベンチマークにおいて高い速度歪み性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-08-17T01:34:51Z)
• Stabilizing Transformer Training by Preventing Attention Entropy Collapse [56.45313891694746]
  本研究は,トランスフォーマーのトレーニングダイナミクスについて,注目層の進化について検討する。 我々は、$sigma$Reparamが注意層におけるエントロピー崩壊を防ぎ、より安定したトレーニングを促進することを示す。 画像分類、画像自己教師型学習、機械翻訳、音声認識、言語モデリングタスクについて、$sigma$Reparamで実験を行った。
  論文  参考訳（メタデータ） (2023-03-11T03:30:47Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Emulating Spatio-Temporal Realizations of Three-Dimensional Isotropic Turbulence via Deep Sequence Learning Models [24.025975236316842]
  最先端のディープラーニング技術を用いて3次元乱流をモデル化するために,データ駆動方式を用いる。 モデルの精度は、統計および物理に基づくメトリクスを用いて評価される。
  論文  参考訳（メタデータ） (2021-12-07T03:33:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。