論文の概要: Context Staircase: Signature-Aligned Dynamics of Token Embeddings under Small Initialization
- arxiv url: http://arxiv.org/abs/2608.30315v1
- Date: Mon, 31 Aug 2026 06:33:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.256768
- Title: Context Staircase: Signature-Aligned Dynamics of Token Embeddings under Small Initialization
- Title（参考訳）: コンテクストステアケース:小さな初期化下でのトケインベディングのシグナチャアライズドダイナミクス
- Abstract要約: トークン埋め込みは、言語モデルにおける離散トークンと連続計算を接続する基本的な表現単位である。
進化する埋め込み構造は,トークン条件付きラベルや文脈分布と密接に関連している。
これらの埋め込み構造は、タスク学習とセマンティック構造を組込み空間に組み込むことの両方において重要な役割を担っている。
- 参考スコア（独自算出の注目度）: 7.898646648931469
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Token embeddings are the basic representational units that connect discrete tokens with continuous computation in language models. Although modern language models learn embeddings from random initialization through gradient-based training, the dynamical mechanism by which meaningful embedding structures emerge remains unclear. In this work, we identify that the evolving embedding structures are closely related to token-conditioned label and contextual distributions, which we formalize as probability signatures. We observe a progressive learning process, which we term Context Staircase: embeddings learn the low-order statistic signatures of the data before the high-order ones. More specifically, we observe that early in training they align with the simplest, context-free signature linking a token to its label, and as training proceeds, they progressively reflect signatures involving more and more context tokens. We then analyze the gradient flow of embeddings under small initialization to explain this phenomenon, deriving embedding evolution equations for feed-forward and self-attention architectures. We further extend these observations to real language-model training. Finally, we show that these embedding structures play an important role in both task learning and the incorporation of semantic structure into the embedding space. Overall, our results provide a dynamic explanation of how data statistics and architecture jointly shape token embeddings in language models, and reveal an implicit bias in the space of data statistics: training proceeds from simpler, low-order statistical relations toward increasingly complex, context-dependent ones.
- Abstract（参考訳）: トークン埋め込みは、言語モデルにおける離散トークンと連続計算を接続する基本的な表現単位である。
現代言語モデルは、ランダム初期化から勾配に基づく訓練を通じて埋め込みを学ぶが、意味のある埋め込み構造が現れる動的なメカニズムはいまだ不明である。
本研究では,進化する埋め込み構造が,確率シグネチャとして定式化されるトークン条件付きラベルや文脈分布と密接に関連していることを明らかにする。
コンテキストステアケース(Context Staircase)と呼ばれるプログレッシブラーニングプロセスを観察し,高次よりも前のデータの低次統計シグネチャを埋め込みで学習する。
より具体的には、トレーニングの初期段階では、ラベルにトークンをリンクする最も単純で文脈に依存しないシグネチャと一致し、トレーニングが進むにつれて、より多くのコンテクストトークンを含むシグネチャを徐々に反映します。
次に, この現象を説明するために, フィードフォワードおよび自己アテンションアーキテクチャの埋め込み進化方程式を導出して, 小さな初期化下での埋め込みの勾配流を解析する。
さらに、これらの観測結果を言語モデルトレーニングに拡張する。
最後に,これらの組込み構造が,組込み空間への意味的構造の導入とタスク学習において重要な役割を担っていることを示す。
全体として、我々の結果は、データ統計とアーキテクチャが言語モデルにどのように結合してトークンを埋め込むのかを動的に説明し、データ統計の空間における暗黙のバイアスを明らかにする:訓練は、より単純で低次な統計関係から、ますます複雑で、文脈に依存したものへと進む。
関連論文リスト
- Probability Signature: Bridging Data Semantics and Embedding Structure in Language Models [8.87728727154868]
トークン間の意味的関係を反映した確率シグネチャのセットを提案する。
Pile corpus のサブセット上で Qwen2.5 アーキテクチャをトレーニングすることで,我々の作業を大規模言語モデル (LLM) に一般化する。
論文 参考訳（メタデータ） (2025-09-24T13:49:44Z) - Scaling Laws and Representation Learning in Simple Hierarchical Languages: Transformers vs. Convolutional Architectures [49.19753720526998]
合成データセット上でのニューラルネットワーク性能に関する理論的スケーリング法則を導出する。
局所性と重み共有によって生成過程の構造が整った畳み込みネットワークは、性能の高速化を享受できることを示す。
この発見は、ニューラルネットワークのスケーリング法則に基づくアーキテクチャ上のバイアスを明らかにし、モデルアーキテクチャとデータの統計的性質の間の相互作用によって表現学習がどのように形成されるかを強調している。
論文 参考訳（メタデータ） (2025-05-11T17:44:14Z) - From Text to Graph: Leveraging Graph Neural Networks for Enhanced Explainability in NLP [3.864700176441583]
本研究では,自然言語処理タスクにおける説明可能性を実現するための新しい手法を提案する。
自動的に文をグラフに変換し、ノードや関係を通じて意味を維持する。
実験は、与えられた分類のためのテキスト構造の中で最も重要なコンポーネントを決定するための有望な結果をもたらした。
論文 参考訳（メタデータ） (2025-04-02T18:55:58Z) - The Foundations of Tokenization: Statistical and Computational Concerns [51.370165245628975]
トークン化は、NLPパイプラインにおける重要なステップである。
NLPにおける標準表現法としての重要性は認識されているが、トークン化の理論的基盤はまだ完全には理解されていない。
本稿では,トークン化モデルの表現と解析のための統一的な形式的枠組みを提案することによって,この理論的ギャップに対処することに貢献している。
論文 参考訳（メタデータ） (2024-07-16T11:12:28Z) - LabelPrompt: Effective Prompt-based Learning for Relation Classification [31.291466190218912]
本稿では,関係分類タスクのための新しいプロンプト型学習手法であるLabelPromptを提案する。
GIVE MODEL CHOICES!'の直感により、まず関係ラベルを表すための追加トークンを定義し、これらのトークンを意味的初期化を伴う動詞としてみなす。
そして、予測関係と与えられた実体との整合性を緩和するために、コントラスト学習を伴うエンティティ認識モジュールを実装した。
論文 参考訳（メタデータ） (2023-02-16T04:06:25Z) - Compositional Generalization in Grounded Language Learning via Induced
Model Sparsity [81.38804205212425]
グリッド環境における単純な言語条件のナビゲーション問題について考察する。
本研究では,オブジェクトの指示文と属性のスパース相関を助長するエージェントを設計し,それらを組み合わせて目的を導出する。
我々のエージェントは、少数のデモンストレーションから学習した場合でも、新しいプロパティの組み合わせを含む目標に対して高いレベルのパフォーマンスを維持している。
論文 参考訳（メタデータ） (2022-07-06T08:46:27Z) - Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。
実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2021-09-20T18:40:37Z) - Imposing Relation Structure in Language-Model Embeddings Using
Contrastive Learning [30.00047118880045]
グラフ構造における関係をエンコードするために文埋め込みを訓練する新しいコントラスト学習フレームワークを提案する。
結果として得られた関係認識文の埋め込みは、関係抽出タスクにおける最先端の結果を得る。
論文 参考訳（メタデータ） (2021-09-02T10:58:27Z) - Prototypical Representation Learning for Relation Extraction [56.501332067073065]
本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。
文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。
いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
論文 参考訳（メタデータ） (2021-03-22T08:11:43Z) - Predicting What You Already Know Helps: Provable Self-Supervised
Learning [60.27658820909876]
自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。
本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。
複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
論文 参考訳（メタデータ） (2020-08-03T17:56:13Z) - Temporal Embeddings and Transformer Models for Narrative Text
Understanding [72.88083067388155]
キャラクタ関係モデリングのための物語テキスト理解のための2つのアプローチを提案する。
これらの関係の時間的進化は動的単語埋め込みによって説明され、時間とともに意味的変化を学ぶように設計されている。
最新の変換器モデルBERTに基づく教師付き学習手法を用いて文字間の静的な関係を検出する。
論文 参考訳（メタデータ） (2020-03-19T14:23:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。