論文の概要: Transformers Are Born Biased: Structural Inductive Biases at Random Initialization and Their Practical Consequences

• arxiv url: http://arxiv.org/abs/2602.05927v1
• Date: Thu, 05 Feb 2026 17:37:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:09.091095
• Title: Transformers Are Born Biased: Structural Inductive Biases at Random Initialization and Their Practical Consequences
• Title（参考訳）: トランスフォーマーは、ランダム初期化における構造誘導ビアーゼとその実践的結果
• Authors: Siquan Li, Yao Tong, Haonan Wang, Tianyang Hu,
• Abstract要約: ランダムにトレーニングされていないモデルは、ランダムな入力シーケンスにまたがる極端なトークン嗜好を示す。 極端トークンの選好は、ランダムなシード依存方向に沿ったトークン表現の収縮から生じることを示す。
• 参考スコア（独自算出の注目度）: 29.509249228044492
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers underpin modern large language models (LLMs) and are commonly assumed to be behaviorally unstructured at random initialization, with all meaningful preferences emerging only through large-scale training. We challenge this assumption by showing that randomly initialized transformers already exhibit strong and systematic structural biases. In particular, untrained models display extreme token preferences: across random input sequences, certain tokens are predicted with probabilities orders of magnitude larger. We provide a mechanistic explanation for this phenomenon by dissecting the transformer architecture at initialization. We show that extreme token preference arises from a contraction of token representations along a random seed-dependent direction. This contraction is driven by two interacting forces: (i) asymmetric nonlinear activations in MLP sublayers induce global (inter-sequence) representation concentration, and (ii) self-attention further amplifies this effect through local (intra-sequence) aggregation. Together, these mechanisms align hidden representations along a direction determined solely by the random initialization, producing highly non-uniform next-token predictions. Beyond mechanistic insight, we demonstrate that these initialization-induced biases persist throughout training, forming a stable and intrinsic model identity. Leveraging this property, we introduce SeedPrint, a fingerprinting method that can reliably distinguish models that differ only in their random initialization, even after extensive training and under substantial distribution shift. Finally, we identify a fundamental positional discrepancy inherent to the attention mechanism's intra-sequence contraction that is causally linked to the attention-sink phenomenon. This discovery provides a principled explanation for the emergence of sinks and offers a pathway for their control.
• Abstract（参考訳）: トランスフォーマーは現代の大規模言語モデル(LLM)を基盤としており、一般にランダムな初期化において行動的に非構造化されていると考えられており、すべての意味のある好みは大規模トレーニングを通じてのみ現れる。 ランダムに初期化されたトランスフォーマーは、すでに強い構造バイアスを示しており、この仮定に挑戦する。 特に、訓練されていないモデルでは極端なトークンの選好が示され、ランダムな入力シーケンスを通して、特定のトークンは桁違いに大きい確率で予測される。 初期化時にトランスアーキテクチャを分離することにより,この現象を機械論的に説明する。 極端トークンの選好は、ランダムなシード依存方向に沿ったトークン表現の収縮から生じることを示す。 この収縮は2つの相互作用力によって引き起こされる。 i) MLPサブ層における非対称非線形活性化は、大域(配列間)表現濃度を誘導し、 (ii)自己注意は局所的な(イントラシーケンス)アグリゲーションを通じてさらにこの効果を増幅する。 これらのメカニズムは、ランダム初期化によってのみ決定される方向に沿って隠れ表現をアライメントし、高度に一様でない次トーケン予測を生成する。 機械的洞察の他に、これらの初期化によるバイアスがトレーニングを通して持続し、安定的で本質的なモデルアイデンティティを形成することを示す。 この特性を生かしたSeedPrintは、広範囲なトレーニングと実質的な分布シフトの後にも、ランダム初期化でのみ異なるモデルを確実に識別できるフィンガープリント手法である。 最後に,アテンション・シンク現象と因果関係にあるアテンション・メカニズムのシーケンス内収縮に固有の基本的な位置差を同定する。 この発見は、シンクの出現に関する原則的な説明を提供し、その制御のための経路を提供する。

関連論文リスト

• Clustering in Deep Stochastic Transformers [10.988655177671255]
  層正規化を伴うディープトランスフォーマーの既存の理論は、通常、トークンが単一のポイントにクラスタされることを予測している。 ランダムな値からノイズが発生する深層変圧器を解析する。 2つのトークンに対して、相互作用強度とトークン次元によって支配される相転移を証明します。
  論文  参考訳（メタデータ） (2026-01-29T16:28:13Z)
• TensorLens: End-to-End Transformer Analysis via High-Order Attention Tensors [53.891337639229285]
  高次アテンション・インタラクション接続を通して表現された入力依存線形演算子として変換器全体をキャプチャする新しい定式化である attentionLens を導入する。 本実験は,注目テンソルが,解釈可能性とモデル理解を目的としたツール開発のための強力な基盤となることを実証した。
  論文  参考訳（メタデータ） (2026-01-25T19:21:25Z)
• Random-Matrix-Induced Simplicity Bias in Over-parameterized Variational Quantum Circuits [72.0643009153473]
  本稿では,観測可能な期待値とパラメータ勾配の両方がシステムサイズに指数関数的に集中するHaar型普遍性クラスに,表現的変分アンサーゼが入ることを示す。 その結果、そのような回路によって誘導される仮説クラスは、近点関数の狭い族に高い確率で崩壊する。 テンソル-ネットワークベースおよびテンソル-ハイパーネットワークパラメータ化を含むテンソル構造VQCは、ハール型普遍性クラスの外にある。
  論文  参考訳（メタデータ） (2026-01-05T08:04:33Z)
• From Shortcut to Induction Head: How Data Diversity Shapes Algorithm Selection in Transformers [67.02076505996284]
  本研究では, 事前学習したデータ分布の選択が, 浅層変圧器を一方の行動に向ける方法について検討する。 その結果,事前学習したトランスフォーマーのアルゴリズム的バイアスに光を当て,学習行動のデータ駆動制御に関する概念的ガイドラインを提供することができた。
  論文  参考訳（メタデータ） (2025-12-21T08:10:26Z)
• Emergence of Quantised Representations Isolated to Anisotropic Functions [0.0]
  本稿では,既存のスポットライト共振法に基づく表現構造決定手法を提案する。 これは、アクティベーション関数のみを変更する制御されたアブレーション研究を通じて、オートエンコーダモデルにおいて、個々の表現がどのように出現し、組織化できるかを示す。 この手法を用いて、関数駆動対称性が表現に暗黙の帰納バイアスとして作用するかどうかを判定する。
  論文  参考訳（メタデータ） (2025-07-16T09:27:54Z)
• Transformers Are Universally Consistent [14.904264782690639]
  ソフトマックスに基づく非線形アテンションを備えたトランスフォーマーは,最小二乗の回帰処理を行う場合,一様に整合性を示す。 我々は経験的誤差の上限を導出し、この条件下では$mathcalO(t-1/2d)$の証明可能な速度で減衰し、$t$は入力トークンの数を表し、$d$は埋め込み次元を表す。
  論文  参考訳（メタデータ） (2025-05-30T12:39:26Z)
• A Unified Perspective on the Dynamics of Deep Transformers [24.094975798576783]
  深部変圧器によるデータ異方性の進化について検討する。 我々は、非正規化離散ケースにおいて、以前の結果と平行なクラスタリング現象を強調した。
  論文  参考訳（メタデータ） (2025-01-30T13:04:54Z)
• Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
  本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。 入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
  論文  参考訳（メタデータ） (2024-10-07T23:53:25Z)
• An Analysis of Attention via the Lens of Exchangeability and Latent Variable Models [64.87562101662952]
  入力トークンは、位置エンコーディングを含むため、しばしば交換可能であることを示す。 我々は入力トークンの十分かつ最小限の表現の存在を確立する。 所望パラメータの注意が近似誤差まで潜伏した後部を推定することを証明する。
  論文  参考訳（メタデータ） (2022-12-30T17:59:01Z)
• Masked Language Modeling for Proteins via Linearly Scalable Long-Context Transformers [42.93754828584075]
  我々は、高速注意Via Orthogonal Random機能(FAVOR)に基づく新しいトランスフォーマーアーキテクチャPerformerを提案する。 我々の機構は、列内のトークンの数で2次ではなく2次的にスケールし、四次空間の複雑さが特徴であり、スパーシティパターンの先行を含まない。 これは強い理論的保証を与える:注意行列の偏りのない推定と一様収束である。
  論文  参考訳（メタデータ） (2020-06-05T17:09:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。