論文の概要: The Generalization Ridge: Information Flow in Natural Language Generation

• arxiv url: http://arxiv.org/abs/2507.05387v1
• Date: Mon, 07 Jul 2025 18:18:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:37.294683
• Title: The Generalization Ridge: Information Flow in Natural Language Generation
• Title（参考訳）: 一般化リッジ:自然言語生成における情報フロー
• Authors: Ruidi Chang, Chunyuan Deng, Hanjie Chen,
• Abstract要約: 最終層で減少する一般化リッジを形成する上層層において,予測情報がいかにピークに達するかを示す。 これらの知見は, 変圧器の内部機構に関する新たな知見を与え, 一般化を支える中間層の重要性を裏付けるものである。
• 参考スコア（独自算出の注目度）: 7.756342860929851
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based language models have achieved state-of-the-art performance in natural language generation (NLG) tasks, yet their internal mechanisms for synthesizing task-relevant information remain insufficiently understood. While prior studies suggest that intermediate layers often yield more generalizable representations than final layers, how this generalization ability emerges and propagates across layers during training remains unclear. To address this gap, we propose InfoRidge, an information-theoretic framework, to characterize how predictive information-the mutual information between hidden representations and target outputs-varies across depth. Estimating this quantity enables us to trace the flow of task-relevant information throughout the model during training. Our experiments across various models and datasets reveal a consistent non-monotonic trend: predictive information peaks in upper-middle layers-forming a generalization ridge-before declining in final layers, reflecting a transition between generalization and memorization. To further investigate this phenomenon, we introduce residual scaling coefficients-trainable scalar parameters applied to each residual block-which serve as functional probes for assessing the relative importance of individual transformer layers. These coefficients reveal that, under distribution shift, models downweight final layers and increasingly rely on ridge layers, highlighting their role in generalization. Together, these findings offer new insights into the internal mechanisms of transformers and underscore the critical role of intermediate layers in supporting generalization.
• Abstract（参考訳）: トランスフォーマーに基づく言語モデルは、自然言語生成(NLG)タスクにおいて最先端のパフォーマンスを達成したが、タスク関連情報を合成するための内部メカニズムはまだ十分に理解されていない。 先行研究は、中間層が最終層よりも一般化可能な表現をしばしば得ることを示唆しているが、この一般化能力がトレーニング中に層をまたいでどのように出現し、伝播するかは明らかになっていない。 このギャップに対処するため,情報理論フレームワークであるInfoRidgeを提案する。 この量を推定することで、トレーニング中のモデル全体のタスク関連情報のフローを追跡できる。 上中層における予測情報ピークは最終層で減少する前の一般化リッジを形成し、一般化と記憶の遷移を反映している。 さらにこの現象を解明するために, 各残差ブロックに適用された残留スケーリング係数-トレーニング可能なスカラーパラメータを導入し, 個々の変圧器層の相対的重要性を評価する機能プローブとして機能する。 これらの係数は、分布シフトの下で、ダウンウェイト最終層をモデル化し、リッジ層にますます依存し、一般化におけるそれらの役割を強調している。 これらの知見は、変換器の内部機構に関する新たな洞察を与え、一般化を支える中間層の重要性を浮き彫りにしている。

関連論文リスト

• Bigger Isn't Always Memorizing: Early Stopping Overparameterized Diffusion Models [51.03144354630136]
  自然データ領域の一般化は、記憶の開始前に訓練中に徐々に達成される。 一般化対メモ化は、時間スケール間の競合として最もよく理解される。 この現象学は,確率論的文脈自由文法をランダムな規則で学習する拡散モデルにおいて復元されることを示す。
  論文  参考訳（メタデータ） (2025-05-22T17:40:08Z)
• Layer by Layer: Uncovering Hidden Representations in Language Models [28.304269706993942]
  中間層がよりリッチな表現をエンコードできることを示し、ダウンストリームタスクの幅広いパフォーマンスを改善することがよくある。 我々のフレームワークは、各層が情報圧縮と信号保存のバランスをとる方法を強調し、なぜ中層埋め込みが最終層の性能を上回るのかを明らかにする。
  論文  参考訳（メタデータ） (2025-02-04T05:03:42Z)
• Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
  インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。 本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。 実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
  論文  参考訳（メタデータ） (2024-10-22T21:30:01Z)
• A separability-based approach to quantifying generalization: which layer is best? [0.0]
  未確認データへの一般化は、ディープラーニングの分類と基礎モデルではよく理解されていない。 サンプル領域を表すネットワークのキャパシティを評価するための新しい手法を提案する。 i) 高い分類精度は高い一般化可能性を示すものではなく、(ii) モデルの深い層が必ずしも最良を一般化するとは限らない。
  論文  参考訳（メタデータ） (2024-05-02T17:54:35Z)
• Prospector Heads: Generalized Feature Attribution for Large Models & Data [82.02696069543454]
  本稿では,説明に基づく帰属手法の効率的かつ解釈可能な代替手段であるプロスペクタヘッドを紹介する。 入力データにおけるクラス固有のパターンの解釈と発見を、プロファイラヘッドがいかに改善できるかを実証する。
  論文  参考訳（メタデータ） (2024-02-18T23:01:28Z)
• VISIT: Visualizing and Interpreting the Semantic Information Flow of Transformers [45.42482446288144]
  近年の解釈可能性の進歩は、トランスフォーマーベース言語モデルの重みと隠れ状態を語彙に投影できることを示唆している。 LMアテンションヘッドとメモリ値、モデルが与えられた入力を処理しながら動的に生成し、リコールするベクトルについて検討する。 対話型フローグラフとして生成事前学習変換器(GPT)の前方通過を可視化するツールを作成する。
  論文  参考訳（メタデータ） (2023-05-22T19:04:56Z)
• Transformer Feed-Forward Layers Are Key-Value Memories [49.52087581977751]
  トランス言語モデルにおけるフィードフォワード層がキーバリューメモリとして動作することを示す。 学習したパターンは人間と解釈可能であり、下層は浅いパターンをキャプチャする傾向にあり、上層はセマンティックなパターンを学ぶ傾向にある。
  論文  参考訳（メタデータ） (2020-12-29T19:12:05Z)
• Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference [55.35176938713946]
  我々は、ガンマ分布の階層構造を用いて、その多確率層生成ネットワークを構築するディープ・オートエンコーディング・トピック・モデル(DATM)を開発した。 Weibull上向き変分エンコーダを提案する。このエンコーダは深層ニューラルネットワークを介して情報を上向きに伝播し,次いで下向き生成モデルを提案する。 大規模コーパス上での教師なしおよび教師なしの学習タスクにおいて,モデルの有効性とスケーラビリティを実証した。
  論文  参考訳（メタデータ） (2020-06-15T22:22:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。