論文の概要: Phase Transitions in Attention: A Bayesian Theory of Copy Head Emergence

• arxiv url: http://arxiv.org/abs/2606.12058v1
• Date: Wed, 10 Jun 2026 13:26:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.469502
• Title: Phase Transitions in Attention: A Bayesian Theory of Copy Head Emergence
• Title（参考訳）: 注意の相転移:コピーヘッドの発生に関するベイズ理論
• Authors: Itay Lavie, Kirsten Fischer, Andrey Lekov, Frederic Van Maele, Zohar Ringel, Moritz Helias,
• Abstract要約: コピータスクで訓練された単一層ソフトマックスアテンションネットワークを解析することにより、誘導ヘッドの第1層におけるコピーサブ回路がどのように学習されるかを示す。 我々の研究は、コピーサブ回路の急激な出現に関する第一原理の理論的な説明を提供する。
• 参考スコア（独自算出の注目度）: 6.025438902954768
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention is the key mechanism underlying in-context learning in transformers, and attention patterns have been observed empirically to emerge abruptly during training. We present a Bayesian theory of feature learning in attention; we then focus on how the copy subcircuit in the first layer of an induction head is learned by analyzing a single-layer softmax attention network trained on a copy task. We derive a closed-form posterior over the attention matrix and reduce it to a low-dimensional order parameter space. This reduction reveals a phase transition in the amount of training data, which we verify using both Bayesian sampling and standard training with Adam. We contrast our results with linear attention and find that softmax attention exhibits a \emph{first-order phase transition} while in linear attention an initial \emph{second-order phase transition} is followed by a smooth, continuous evolution toward the structured attention pattern (\emph{crossover}). Our work provides a first-principles theoretical account of the abrupt emergence of the copy subcircuit, reminiscent of the one observed in training large language models.
• Abstract（参考訳）: 注意は、変圧器における文脈内学習の根底にある重要なメカニズムであり、注意パターンは、訓練中に突然現れるように経験的に観察されている。 提案する特徴学習のベイズ的理論は,コピータスクで訓練された単一層ソフトマックスアテンションネットワークを解析することにより,誘導ヘッドの第1層におけるコピーサブ回路がどのように学習されるかに着目したものである。 注意行列上の閉形式後部を導出し、低次元のパラメータ空間に還元する。 この削減によりトレーニングデータの位相遷移が明らかとなり,ベイジアンサンプリングとAdamによる標準トレーニングの両方を用いて検証する。 この結果と線形注意とを対比し, ソフトマックスの注意は 'emph{first-order phase transition} を示すのに対し, 線形注意では 初期'emph{second-order phase transition} は 構造化された注意パターン (\emph{crossover} ) に対して滑らかで連続的な進化が続くことを示した。 我々の研究は、コピーサブ回路の急激な出現に関する第一原理の理論的な説明を提供する。

関連論文リスト

• Focus and Dilution: The Multi-stage Learning Process of Attention [9.240393019828968]
  一つの焦点希釈サイクルを異なる段階の連続に分解できることを示す。 合成マルコフデータとWikiTextとTinyStoriesの実験は、予測段階と循環力学を相関させる。
  論文  参考訳（メタデータ） (2026-05-02T02:30:52Z)
• From Density Matrices to Phase Transitions in Deep Learning: Spectral Early Warnings and Interpretability [0.0]
  このオブジェクトは、トレーニング中に位相遷移を計算的に効率的かつ統一的に観測できることを示す。 興味深いことに、2RDMの上位固有ベクトルは直接解釈可能であり、遷移の性質を研究することは容易である。
  論文  参考訳（メタデータ） (2026-03-31T14:34:01Z)
• How Transformers Learn Regular Language Recognition: A Theoretical Study on Training Dynamics and Implicit Bias [48.9399496805422]
  我々は「偶対」と「パリティチェック」と呼ばれる正規言語認識のカテゴリにおける2つの代表的タスクに焦点をあてる。 我々のゴールは、注意層と線形層からなる一層トランスフォーマーが、これらの課題をいかに解決するかを探求することである。
  論文  参考訳（メタデータ） (2025-05-02T00:07:35Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• On the Emergence of Position Bias in Transformers [59.87743433861665]
  本稿では,多層構造における位置バイアスを解析するためのグラフ理論フレームワークを提案する。 我々のフレームワークは、トランスにおける位置的相互作用を理解するための原則的な基盤を提供する。
  論文  参考訳（メタデータ） (2025-02-04T02:53:07Z)
• A phase transition between positional and semantic learning in a solvable model of dot-product attention [30.96921029675713]
  学習可能な,低次元の問合せとキーデータを備えた非次元自己注意層として,高次モデルドット積注意法について検討した。 位置注意機構(それぞれの位置に基づくトークンを含む)と意味注意機構(それぞれの意味に基づいて互いに結びついているトークンを含む)と、サンプルの複雑さが増大する前者から後者への遷移が示される。
  論文  参考訳（メタデータ） (2024-02-06T11:13:54Z)
• Exact Phase Transitions in Deep Learning [5.33024001730262]
  トレーニング損失における予測誤差とモデル複雑性の競合は,1つの隠蔽層をもつネットの2次位相遷移と,複数の隠蔽層を持つネットの1次位相遷移につながることを証明した。 提案理論はニューラルネットワークの最適化に直接関係しており,ベイズ深層学習における後部崩壊問題の起源を指摘する。
  論文  参考訳（メタデータ） (2022-05-25T06:00:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。