論文の概要: Learning to Read Out: Unembedding Dynamics in Language Model Pretraining

• arxiv url: http://arxiv.org/abs/2610.21025v1
• Date: Wed, 14 Oct 2026 23:45:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.10512
• Title: Learning to Read Out: Unembedding Dynamics in Language Model Pretraining
• Title（参考訳）: 学びから学ぶ - 言語モデルの事前学習におけるアンエンベディングダイナミクス
• Abstract要約: モデルに隠された状態が、それを表現する前にタスク情報をエンコードできることが示される。 資金調達によって、リードアウトが早く発展し、ギャップが近くなり、最終的な損失にはほとんど影響しないことがわかった。
• 参考スコア（独自算出の注目度）: 11.408822162972625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When does a language model acquire a capability? Developmental studies usually answer this by tracking when models start producing the correct token. But that prediction passes through the unembedding matrix, or readout, which is itself still being learned during pretraining. We show that a model's hidden states can encode task information before its own readout expresses it, so timelines read from outputs conflate what the model encodes with what its readout expresses. To track the readout directly, we introduce parameter-trajectory crosscoding, which fits one sparse dictionary to every token's readout row at every checkpoint. Unlike crosscoders on activations, it needs only checkpoint weights. We use it to locate a narrow early window, 0.4-1.1% of the way through Pythia's pretraining, in which the readout reorganizes and WordNet word categories become decodable from its rows. By then, linear probes on the hidden states already decode task information that the model's own outputs do not yet show. To test whether such gaps depend on how fast the readout learns, we pretrain small models from scratch that differ only in the readout's learning rate. We find that raising it makes the readout develop earlier and the gap close sooner, with little effect on final loss. Together, these results imply that early in training, where many developmental transitions are dated, a behavioral date can reflect when the readout learns to express task information and not when the model learns it.
• Abstract（参考訳）: 言語モデルはいつ能力を得るのか? 発達研究は通常、モデルが正しいトークンを生成し始めたときの追跡によってこれを答える。 しかし、この予測はアンエンベディング行列(rereadout)を通過します。 モデルが隠された状態は、自身のリードアウトが表現する前にタスク情報をエンコードできることを示し、アウトプットから読み取ったタイムラインは、モデルがエンコードしたものと、そのリードアウトが表現するものを詳述する。 そこで本研究では,各チェックポイントにおいて,各トークンの読み出し行に1つのスパース辞書を適合させるパラメータ・トラジェクトリ・クロスコーディングを提案する。 アクティベーションのクロスコーダとは異なり、チェックポイントウェイトのみを必要とする。 我々は、Pythiaの事前学習の道の0.4-1.1%の狭い早期ウィンドウを見つけるためにそれを使用し、そこで読み出しが再編成され、WordNetの単語カテゴリはその行から削除可能である。 その時までに、隠された状態の線形プローブは、モデル自身の出力がまだ示していないタスク情報をデコードしている。 このようなギャップが読み出しの学習速度に依存するかどうかをテストするために、読み出しの学習速度だけが異なる小さなモデルをスクラッチから事前訓練する。 資金調達によって、リードアウトが早く発展し、ギャップが近くなり、最終的な損失にはほとんど影響しないことがわかった。 これらの結果は、多くの発達遷移が日付付けされている初期のトレーニングにおいて、読み出しがタスク情報を表現することを学習した時に、モデルがそれを学習した時にではなく、行動日を反映できることを示している。

関連論文リスト

• Evolution of Concepts in Language Model Pre-Training [53.994470178155105]
  クロスコーダと呼ばれるスパース辞書学習手法を用いて,事前学習スナップショットにおける線形解釈可能な特徴の進化を追跡する。 ほとんどの機能が特定のポイントの周りに形成され始め、さらに複雑なパターンが後のトレーニング段階に現れます。
  論文  参考訳（メタデータ） (2025-09-21T18:53:12Z)
• Crosscoding Through Time: Tracking Emergence & Consolidation Of Linguistic Representations Throughout LLM Pretraining [33.22703101533052]
  大規模な言語モデルは、事前訓練中に非自明な抽象化を学ぶ。 スパース・クロスコーダを使用して、モデルのチェックポイント間で機能を発見、調整しています。 プレトレーニング中に,クロスコーダが特徴の出現,維持,継続を検知できることを示す。
  論文  参考訳（メタデータ） (2025-09-05T17:56:24Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• Improving Input-label Mapping with Demonstration Replay for In-context Learning [67.57288926736923]
  In-context Learning (ICL)は、大規模な自己回帰言語モデルの出現する能力である。 Sliding Causal Attention (RdSca) と呼ばれる新しいICL法を提案する。 ICL実験において,本手法は入力ラベルマッピングを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-10-30T14:29:41Z)
• Unveiling Multilinguality in Transformer Models: Exploring Language Specificity in Feed-Forward Networks [12.7259425362286]
  多言語モデルがキー値記憶をどのように活用するかを検討する。 2つ以上の言語で訓練された自己回帰モデルに対して、すべてのニューロン(層全体)は全ての言語に等しく反応するのか? その結果,ネットワークの入力や出力に最も近い層は,中間層に比べて言語固有の振る舞いを示す傾向があることがわかった。
  論文  参考訳（メタデータ） (2023-10-24T06:45:00Z)
• Characterizing Learning Curves During Language Model Pre-Training: Learning, Forgetting, and Stability [25.52470575274251]
  より長く一貫性のあるテキストを生成するために学習する前に、言語モデルが短い反復句を生成するのを観察する。 個々のトークンは、トレーニング前のランニングで驚くほど一貫性のある、突然の増減または損失の減少を示すことが多い。 より頻繁なトークンは最終段階の低い値に到達し、事前トレーニング実行中の変動が少なく、早期に学習され、事前トレーニング中に「忘れられる」可能性が低い。
  論文  参考訳（メタデータ） (2023-08-29T16:24:09Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Pretrained Language Model Embryology: The Birth of ALBERT [68.5801642674541]
  ランダムなパラメータの集合からトチエント言語モデルへの発達過程について検討する。 その結果、ALBERTは、事前学習中に異なる学習速度で、音声の異なる部分(POS)のトークンを再構成し、予測することを学習していることがわかった。 これらの結果は、事前訓練されたモデルの知識が事前訓練の間に異なることを示唆し、事前訓練のステップを持つことは、必ずしもより包括的な知識を持つモデルを提供するとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2020-10-06T05:15:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。