論文の概要: Looped Transformers with Layer Normalization Provably Learn the Power Method
- arxiv url: http://arxiv.org/abs/2606.00605v1
- Date: Sat, 30 May 2026 08:05:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.544244
- Title: Looped Transformers with Layer Normalization Provably Learn the Power Method
- Title（参考訳）: 階層正規化をもつループ変換器はおそらく電力法を学習する
- Abstract要約: 層正規化(LN)を用いた変圧器のトレーニング力学を理解するためのテストベッドとしての主成分予測について検討する。
その結果,LNを用いたループおよび単層変圧器のトレーニング力学を初めて理論的に解析し,変圧器モデルにおけるLNの役割に光を当てた。
- 参考スコア（独自算出の注目度）: 8.400141074200935
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Transformers have achieved remarkable success across a wide range of applications, and a growing body of work suggests that part of their strength comes from their ability to learn and execute algorithmic procedures. However, our understanding of how transformers learn such algorithms remains limited, especially in the presence of layer normalization (LN). In this work, we study principal component prediction as a concrete testbed for understanding the training dynamics of transformers with LN. We prove that a looped linear transformer with LN, trained by gradient descent, converges to a solution that implements the power method, with each self-attention layer performing one power iteration. Notably, the model is trained only for principal component prediction, rather than being explicitly supervised to implement the power method. Our finding thus reveals an "algorithmic implicit bias" of looped transformers with LN: principal-component prediction can in principle be achieved by many mechanisms, yet gradient descent selects one that realizes the power method. We further provide a concrete comparison between transformers with and without LN: even with layerwise guidance from power iterations, a transformer without LN cannot exactly learn the power method, whereas the corresponding transformer with LN can, leading to a provable performance gap in principal component prediction. Our results provide, to our knowledge, the first theoretical analysis of the training dynamics of looped and single-layer transformers with LN, and shed light on the role of LN in transformer models.
- Abstract（参考訳）: トランスフォーマーは幅広いアプリケーションで顕著な成功を収めており、その強みの1つはアルゴリズムの手順を学習し実行することにある、と多くの研究が示唆している。
しかし、トランスフォーマーがそのようなアルゴリズムをどのように学習するかについての我々の理解は、特に層正規化(LN)の存在において限られている。
本研究では,LNを用いた変圧器のトレーニング力学を理解するためのコンクリート試験場としての主成分予測について検討する。
勾配勾配勾配で学習したループ線形変圧器は,各自重層が1つの電力繰り返しを実行することで,電力法を実装した解に収束することを示す。
特に、モデルは、パワーメソッドを実装するために明示的に監督されるのではなく、主成分予測のためにのみ訓練される。
我々の発見はループ変換器の「アルゴリズム的暗黙バイアス」をLNで示している: 主成分予測は原則として多くのメカニズムによって達成できるが、勾配降下はパワーメソッドを実現するものを選択する。
さらに、LNのない変圧器とLNのない変圧器との具体的な比較を行い、LNのない変圧器は電力法を正確に学習することができず、LNを持つ変圧器は主成分予測における性能差を証明できる。
この結果から,LNを用いたループおよび単層変圧器のトレーニング力学の最初の理論的解析を行い,変換器モデルにおけるLNの役割に光を当てた。
関連論文リスト
- Transformers Efficiently Perform In-Context Logistic Regression via Normalized Gradient Descent [9.440916748352722]
ソフトマックスアテンションを持つ変圧器は線形分類データに基づいてコンテキスト内学習を行う。
まず、コンテキスト内ロジスティック回帰を実行できる多層変換器のクラスを構築する。
構築した変圧器は, (i) 1ステップの勾配降下によって教師される1つの自己注意層をトレーニングし, (ii) 訓練された層を繰り返し適用してループモデルが得られることを示す。
論文 参考訳（メタデータ） (2026-05-07T17:27:55Z) - Weights to Code: Extracting Interpretable Algorithms from the Discrete Transformer [65.38883376379812]
本稿では,連続表現と離散記号論理のギャップを埋めるアーキテクチャである離散変換器を提案する。
実証的には、Discrete TransformerはRNNベースのベースラインに匹敵するパフォーマンスを達成するだけでなく、連続的な変数ドメインへの解釈可能性を大幅に拡張する。
論文 参考訳（メタデータ） (2026-01-09T12:49:41Z) - From Shortcut to Induction Head: How Data Diversity Shapes Algorithm Selection in Transformers [67.02076505996284]
本研究では, 事前学習したデータ分布の選択が, 浅層変圧器を一方の行動に向ける方法について検討する。
その結果,事前学習したトランスフォーマーのアルゴリズム的バイアスに光を当て,学習行動のデータ駆動制御に関する概念的ガイドラインを提供することができた。
論文 参考訳（メタデータ） (2025-12-21T08:10:26Z) - Optimality and NP-Hardness of Transformers in Learning Markovian Dynamical Functions [32.71332125930795]
トランスフォーマーアーキテクチャは、インコンテキスト学習(ICL)による所定のプロンプトにおける入出力ペアに基づいて、目に見えないタスクを解決できる
マルコフ関数学習の基盤となる最適化動作を明らかにするため,構造化ICL設定によるマルコフ関数学習について検討する。
論文 参考訳（メタデータ） (2025-10-21T13:42:48Z) - Transformers Don't In-Context Learn Least Squares Regression [5.648229654902264]
In-context Learning (ICL) は、大規模な事前学習型トランスフォーマーの強力な能力として登場した。
我々は、トランスフォーマーが推論時に学習をどのように実装するかを研究する。
ICLの行動形成におけるプレトレーニングコーパスの役割を強調した。
論文 参考訳（メタデータ） (2025-07-13T01:09:26Z) - On the Learn-to-Optimize Capabilities of Transformers in In-Context Sparse Recovery [15.164710897163099]
K層変換器は, 証明可能な収束率を持つL2OアルゴリズムをK層に線形に実行可能であることを示す。
従来のL2Oアルゴリズムとは違って、トレーニングにおいて測定行列に一致させる必要があるが、トレーニングされたTransformerは、異なる測定行列で生成されたスパースリカバリ問題を解くことができる。
論文 参考訳（メタデータ） (2024-10-17T19:18:28Z) - Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning? [69.4145579827826]
収束ランドスケープの勾配非性アルゴリズムにもかかわらず、回帰損失に高速な流れを示す。
この設定における多層トランスの理論的解析はこれが初めてである。
論文 参考訳（メタデータ） (2024-10-10T18:29:05Z) - How Do Nonlinear Transformers Learn and Generalize in In-Context Learning? [82.51626700527837]
トランスフォーマーベースの大規模言語モデルでは、トレーニング済みのモデルが微調整なしで新しいタスクを処理できるような、コンテキスト内学習機能が印象的だった。
我々は、TransformerがICLを実現する方法の仕組みが、Transformerにおけるトレーニング問題の技術的課題にどのように貢献するかを分析する。
論文 参考訳（メタデータ） (2024-02-23T21:07:20Z) - Transformers as Statisticians: Provable In-Context Learning with
In-Context Algorithm Selection [88.23337313766353]
この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。
コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。
エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
論文 参考訳（メタデータ） (2023-06-07T17:59:31Z) - XAI for Transformers: Better Explanations through Conservative
Propagation [60.67748036747221]
変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。
我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
論文 参考訳（メタデータ） (2022-02-15T10:47:11Z) - N-ODE Transformer: A Depth-Adaptive Variant of the Transformer Using
Neural Ordinary Differential Equations [1.2183405753834562]
ニューラル常微分方程式を用いて、入力依存の時間ステップ数が通常の微分方程式ソルバによって取られるという意味で、深さ適応的なトランスフォーマーの変種を定式化する。
本稿では、標準トランスフォーマーが既知の制限を持つバイナリシーケンスのパリティを決定するという単純な問題について考察する。
しかし、N-ODE変換器の深さ適応性は、パリティ問題の本質的に非局所的な性質に対する対策を提供していない。
論文 参考訳（メタデータ） (2020-10-22T00:48:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。