論文の概要: Two failure modes of deep transformers and how to avoid them: a unified theory of signal propagation at initialisation
- arxiv url: http://arxiv.org/abs/2505.24333v1
- Date: Fri, 30 May 2025 08:18:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-02 19:47:52.846457
- Title: Two failure modes of deep transformers and how to avoid them: a unified theory of signal propagation at initialisation
- Title（参考訳）: 深部変圧器の2つの故障モードとその回避法--初期化時の信号伝搬の統一理論
- Authors: Alessio Giorlandino, Sebastian Goldt,
- Abstract要約: ニューラルネットワークの適切な初期化を見つけることは、スムーズなトレーニングと優れたパフォーマンスを保証するために不可欠である。
トランスでは、間違った初期化は、ランク崩壊とエントロピー崩壊という、2つの自己注意層の障害モードの1つにつながる可能性がある。
本稿では, 自己アテンション層を有するバニラ変圧器ブロックによる信号伝搬の解析理論を提案する。
- 参考スコア（独自算出の注目度）: 7.2136602534376015
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Finding the right initialisation for neural networks is crucial to ensure smooth training and good performance. In transformers, the wrong initialisation can lead to one of two failure modes of self-attention layers: rank collapse, where all tokens collapse into similar representations, and entropy collapse, where highly concentrated attention scores lead to training instability. While the right initialisation has been extensively studied in feed-forward networks, an exact description of signal propagation through a full transformer block has so far been lacking. Here, we provide an analytical theory of signal propagation through vanilla transformer blocks with self-attention layers, layer normalisation, skip connections and ReLU MLP. To treat the self-attention layer, we draw on a formal parallel with the Random Energy Model from statistical physics. We identify and characterise two regimes governed by the variance of the query and key initialisations: a low-variance regime, where we recover the known rank collapse behaviour; and a previously unexplored high-variance regime, where signal is preserved but \textit{entropy collapse} occurs. In the low-variance regime, we calculate the critical strength for the residual connection to ensure signal propagation. Our theory yields trainability diagrams that identify the correct choice of initialisation hyper-parameters for a given architecture. Experiments with BERT-style models trained on TinyStories validate our predictions. Our theoretical framework gives a unified perspective on the two failure modes of self-attention and gives quantitative predictions on the scale of both weights and residual connections that guarantees smooth training.
- Abstract（参考訳）: ニューラルネットワークの適切な初期化を見つけることは、スムーズなトレーニングと優れたパフォーマンスを保証するために不可欠である。
トランスフォーマーでは、間違った初期化は、ランク崩壊、すべてのトークンが同様の表現に崩壊するランク崩壊、エントロピー崩壊、高度に集中した注意スコアがトレーニング不安定につながる2つの自己注意層のうちの1つに繋がる。
フィードフォワードネットワークでは、正しい初期化が広く研究されているが、フルトランスブロックによる信号伝播の正確な記述は、これまでは欠如している。
本稿では,バニラ変圧器ブロックの自己アテンション層,層正規化,スキップ接続,ReLU MLPによる信号伝搬に関する解析理論を提案する。
自己アテンション層を扱うために、統計物理学からランダムエネルギーモデルと形式的に平行に描く。
我々は、クエリとキーの初期化のばらつきによって支配される2つの規則を識別し、特徴付けする: 既知のランク崩壊挙動を回復する低分散規則と、信号が保存されるが「textit{entropy collapse}」が発生する未探索の高分散規則である。
低分散状態においては、残差接続の臨界強度を計算し、信号の伝搬を確実にする。
我々の理論は、与えられたアーキテクチャに対する初期化ハイパーパラメータの正しい選択を特定する訓練可能性図を生成する。
TinyStoriesでトレーニングされたBERTスタイルのモデルによる実験は、我々の予測を検証する。
我々の理論的枠組みは、自己注意の2つの障害モードについて統一的な視点を与え、スムーズなトレーニングを保証するウェイトと残留接続の両方のスケールに関する定量的な予測を与える。
関連論文リスト
- Mind the Gap: a Spectral Analysis of Rank Collapse and Signal Propagation in Attention Layers [3.686808512438363]
ソフトマックスに基づく注意の代替は、効果的な情報の流れを妨げる傾向があるためである。
我々は、注目行列の2つの最大の特異勾配の間のスペクトルギャップを明らかにするために厳密な解析を行う。
外れ値を取り除き、広さのランク崩壊を解消する新しい簡単な実用的解法を提案する。
論文 参考訳（メタデータ） (2024-10-10T10:34:18Z) - The Benefit of Being Bayesian in Online Conformal Prediction [7.713245413733777]
ブラックボックス機械学習モデルを用いた信頼度セットのオンライン構築について検討する。
対象の信頼レベルを量子レベルに変換することにより、逐次明らかにされたデータシーケンスの量子レベルを予測することで、問題を小さくすることができる。
論文 参考訳（メタデータ） (2024-10-03T15:04:47Z) - Grokking as the Transition from Lazy to Rich Training Dynamics [35.186196991224286]
グルーキングは、ニューラルネットワークの列車の損失がテスト損失よりもはるかに早く減少するときに起こる。
グルーキングの主要な要因は、特徴学習の速度と、初期特徴と対象関数とのアライメントである。
論文 参考訳（メタデータ） (2023-10-09T19:33:21Z) - In-Context Convergence of Transformers [63.04956160537308]
勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。
不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
論文 参考訳（メタデータ） (2023-10-08T17:55:33Z) - Trained Transformers Learn Linear Models In-Context [39.56636898650966]
トランスフォーマーとしての注意に基づくニューラルネットワークは、意図的学習(ICL)を示す顕著な能力を示した
線形回帰問題のランダムな例に対する変圧器の訓練において、これらのモデルの予測は通常の正方形の非線形性を模倣することを示した。
論文 参考訳（メタデータ） (2023-06-16T15:50:03Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳（メタデータ） (2023-06-06T09:12:49Z) - Stabilizing Transformer Training by Preventing Attention Entropy
Collapse [56.45313891694746]
本研究は,トランスフォーマーのトレーニングダイナミクスについて,注目層の進化について検討する。
我々は、$sigma$Reparamが注意層におけるエントロピー崩壊を防ぎ、より安定したトレーニングを促進することを示す。
画像分類、画像自己教師型学習、機械翻訳、音声認識、言語モデリングタスクについて、$sigma$Reparamで実験を行った。
論文 参考訳（メタデータ） (2023-03-11T03:30:47Z) - Characterization of anomalous diffusion through convolutional
transformers [0.8984888893275713]
本稿では, 異常拡散のキャラクタリゼーションのためのトランスフォーマーに基づくニューラルネットワークアーキテクチャを提案する。
新たなアーキテクチャであるConvTransformer(ConvTransformer)は、二層畳み込みニューラルネットワークを使用して、拡散軌道から特徴を抽出します。
我々は,ConvTransformerが,短い軌跡において,基礎となる拡散状態を決定する上で,従来の技術よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-10-10T18:53:13Z) - Distribution Mismatch Correction for Improved Robustness in Deep Neural
Networks [86.42889611784855]
正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる
本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。
実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
論文 参考訳（メタデータ） (2021-10-05T11:36:25Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳（メタデータ） (2020-10-01T17:51:49Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。