論文の概要: Phase Transitions in Attention: A Bayesian Theory of Copy Head Emergence

• arxiv url: http://arxiv.org/abs/2606.12058v1
• Date: Wed, 10 Jun 2026 13:26:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.469502
• Title: Phase Transitions in Attention: A Bayesian Theory of Copy Head Emergence
• Title（参考訳）: 注意の相転移:コピーヘッドの発生に関するベイズ理論
• Abstract要約: コピータスクで訓練された単一層ソフトマックスアテンションネットワークを解析することにより、誘導ヘッドの第1層におけるコピーサブ回路がどのように学習されるかを示す。 我々の研究は、コピーサブ回路の急激な出現に関する第一原理の理論的な説明を提供する。
• 参考スコア（独自算出の注目度）: 6.025438902954768
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention is the key mechanism underlying in-context learning in transformers, and attention patterns have been observed empirically to emerge abruptly during training. We present a Bayesian theory of feature learning in attention; we then focus on how the copy subcircuit in the first layer of an induction head is learned by analyzing a single-layer softmax attention network trained on a copy task. We derive a closed-form posterior over the attention matrix and reduce it to a low-dimensional order parameter space. This reduction reveals a phase transition in the amount of training data, which we verify using both Bayesian sampling and standard training with Adam. We contrast our results with linear attention and find that softmax attention exhibits a \emph{first-order phase transition} while in linear attention an initial \emph{second-order phase transition} is followed by a smooth, continuous evolution toward the structured attention pattern (\emph{crossover}). Our work provides a first-principles theoretical account of the abrupt emergence of the copy subcircuit, reminiscent of the one observed in training large language models.
• Abstract（参考訳）: 注意は、変圧器における文脈内学習の根底にある重要なメカニズムであり、注意パターンは、訓練中に突然現れるように経験的に観察されている。 提案する特徴学習のベイズ的理論は,コピータスクで訓練された単一層ソフトマックスアテンションネットワークを解析することにより,誘導ヘッドの第1層におけるコピーサブ回路がどのように学習されるかに着目したものである。 注意行列上の閉形式後部を導出し、低次元のパラメータ空間に還元する。 この削減によりトレーニングデータの位相遷移が明らかとなり,ベイジアンサンプリングとAdamによる標準トレーニングの両方を用いて検証する。 この結果と線形注意とを対比し, ソフトマックスの注意は 'emph{first-order phase transition} を示すのに対し, 線形注意では 初期'emph{second-order phase transition} は 構造化された注意パターン (\emph{crossover} ) に対して滑らかで連続的な進化が続くことを示した。 我々の研究は、コピーサブ回路の急激な出現に関する第一原理の理論的な説明を提供する。

関連論文リスト

• Focus and Dilution: The Multi-stage Learning Process of Attention [9.240393019828968]
  一つの焦点希釈サイクルを異なる段階の連続に分解できることを示す。 合成マルコフデータとWikiTextとTinyStoriesの実験は、予測段階と循環力学を相関させる。
  論文  参考訳（メタデータ） (2026-05-02T02:30:52Z)
• From Density Matrices to Phase Transitions in Deep Learning: Spectral Early Warnings and Interpretability [0.0]
  このオブジェクトは、トレーニング中に位相遷移を計算的に効率的かつ統一的に観測できることを示す。 興味深いことに、2RDMの上位固有ベクトルは直接解釈可能であり、遷移の性質を研究することは容易である。
  論文  参考訳（メタデータ） (2026-03-31T14:34:01Z)
• Specialization of softmax attention heads: insights from the high-dimensional single-location model [0.0]
  SGD下でのマルチヘッドソフトマックスアテンションのトレーニングダイナミクスについて検討した。 我々はソフトマックス-1が無関係な頭部からのノイズを著しく低減することを示した。 この設定で最適な予測性能を実現するベイズ・ソフトマックスアテンションを導入する。
  論文  参考訳（メタデータ） (2026-03-04T12:37:08Z)
• How Attention Sinks Emerge in Large Language Models: An Interpretability Perspective [67.08306259095778]
  モデルがゼロ位置のトークンを認識できるように簡単なメカニズムを同定し、2つの変圧器ブロック内で注意シンクを誘導する。 スクラッチからトレーニングされた30B A3B MoEモデルからのトレーニングトレースを分析することで、このメカニズムはトレーニングの初期段階に現れ、最初の2層に集中するようになる。
  論文  参考訳（メタデータ） (2026-02-04T11:10:34Z)
• How Transformers Learn Regular Language Recognition: A Theoretical Study on Training Dynamics and Implicit Bias [48.9399496805422]
  我々は「偶対」と「パリティチェック」と呼ばれる正規言語認識のカテゴリにおける2つの代表的タスクに焦点をあてる。 我々のゴールは、注意層と線形層からなる一層トランスフォーマーが、これらの課題をいかに解決するかを探求することである。
  論文  参考訳（メタデータ） (2025-05-02T00:07:35Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• On the Emergence of Position Bias in Transformers [59.87743433861665]
  本稿では,多層構造における位置バイアスを解析するためのグラフ理論フレームワークを提案する。 我々のフレームワークは、トランスにおける位置的相互作用を理解するための原則的な基盤を提供する。
  論文  参考訳（メタデータ） (2025-02-04T02:53:07Z)
• Training Dynamics of Transformers to Recognize Word Co-occurrence via Gradient Flow Analysis [97.54180451650122]
  本研究では,2つの単語の共起を認識するタスクにおいて,浅層変圧器を訓練するダイナミクスについて検討する。 我々は3つの注意行列と線形層を同時に学習する勾配流れのダイナミクスを解析した。 本研究では, 傾斜流の新たな特性として, 勾配のテクトリアルバランスを証明し, 異なる試料の損失値をほぼ同じ速度で減少させ, さらに, ほぼ最小限のトレーニング損失の証明を容易にする。
  論文  参考訳（メタデータ） (2024-10-12T17:50:58Z)
• Training Dynamics of Multi-Head Softmax Attention for In-Context Learning: Emergence, Convergence, and Optimality [54.20763128054692]
  マルチタスク線形回帰の文脈内学習のためのマルチヘッドソフトマックスアテンションモデルを訓練するための勾配流のダイナミクスについて検討する。 我々は,勾配流のダイナミックス中に,興味深い「タスク割り当て」現象が現れることを証明した。
  論文  参考訳（メタデータ） (2024-02-29T18:43:52Z)
• A phase transition between positional and semantic learning in a solvable model of dot-product attention [30.96921029675713]
  学習可能な,低次元の問合せとキーデータを備えた非次元自己注意層として,高次モデルドット積注意法について検討した。 位置注意機構(それぞれの位置に基づくトークンを含む)と意味注意機構(それぞれの意味に基づいて互いに結びついているトークンを含む)と、サンプルの複雑さが増大する前者から後者への遷移が示される。
  論文  参考訳（メタデータ） (2024-02-06T11:13:54Z)
• Exact Phase Transitions in Deep Learning [5.33024001730262]
  トレーニング損失における予測誤差とモデル複雑性の競合は,1つの隠蔽層をもつネットの2次位相遷移と,複数の隠蔽層を持つネットの1次位相遷移につながることを証明した。 提案理論はニューラルネットワークの最適化に直接関係しており,ベイズ深層学習における後部崩壊問題の起源を指摘する。
  論文  参考訳（メタデータ） (2022-05-25T06:00:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。