論文の概要: How Transformers Implement Induction Heads: Approximation and Optimization Analysis

• arxiv url: http://arxiv.org/abs/2410.11474v2
• Date: Wed, 16 Oct 2024 04:04:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 09:43:17.671204
• Title: How Transformers Implement Induction Heads: Approximation and Optimization Analysis
• Title（参考訳）: 変圧器による誘導ヘッドの実装方法:近似と最適化解析
• Authors: Mingze Wang, Ruoxi Yu, Weinan E, Lei Wu,
• Abstract要約: 変換器が誘導ヘッドを実装する方法の近似と最適化の両方を提供する。 近似解析では、標準および一般化誘導ヘッド機構の両方を定式化する。 最適化解析のために,4-gramと2-gram成分からなる合成混合ターゲットのトレーニングダイナミクスについて検討した。
• 参考スコア（独自算出の注目度）: 11.789846138681359
• License:
• Abstract: Transformers have demonstrated exceptional in-context learning capabilities, yet the theoretical understanding of the underlying mechanisms remain limited. A recent work (Elhage et al., 2021) identified a "rich" in-context mechanism known as induction head, contrasting with "lazy" $n$-gram models that overlook long-range dependencies. In this work, we provide both approximation and optimization analyses of how transformers implement induction heads. In the approximation analysis, we formalize both standard and generalized induction head mechanisms, and examine how transformers can efficiently implement them, with an emphasis on the distinct role of each transformer submodule. For the optimization analysis, we study the training dynamics on a synthetic mixed target, composed of a 4-gram and an in-context 2-gram component. This setting enables us to precisely characterize the entire training process and uncover an {\em abrupt transition} from lazy (4-gram) to rich (induction head) mechanisms as training progresses.
• Abstract（参考訳）: トランスフォーマーは例外的な文脈内学習能力を示してきたが、基礎となるメカニズムの理論的理解は依然として限られている。 最近の研究(Elhage et al , 2021)では、長距離依存関係を見渡す「怠慢な」$n$-gramモデルとは対照的に、誘導ヘッドとして知られる"リッチ"なインコンテキストメカニズムが特定されている。 本研究では,変圧器の誘導ヘッド実装方法の近似と最適化の両面から解析を行う。 近似解析では、標準および一般化誘導ヘッド機構の両方を形式化し、トランスフォーマーがそれらを効率的に実装する方法を、各トランスフォーマーサブモジュールの異なる役割に重点を置いて検討する。 最適化解析のために,4-gramと2-gram成分からなる合成混合ターゲットのトレーニングダイナミクスについて検討した。 この設定により、トレーニングプロセス全体を正確に特徴付けることができ、トレーニングが進むにつれて、遅延(4-gram)からリッチ(インダクションヘッド)メカニズムへの突然の移行を発見できます。

関連論文リスト

• Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
  インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。 本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。 実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
  論文  参考訳（メタデータ） (2024-10-22T21:30:01Z)
• How Transformers Utilize Multi-Head Attention in In-Context Learning? A Case Study on Sparse Linear Regression [19.64743851296488]
  本研究では、疎線形回帰問題を考察し、訓練されたマルチヘッドトランスがコンテキスト内学習を行う方法を検討する。 マルチヘッドの利用は層間における異なるパターンを示すことが実験的に明らかになった。 このような前処理列最適化アルゴリズムは、直交勾配勾配とリッジ回帰アルゴリズムを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-08-08T15:33:02Z)
• Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
  中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。 実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。 分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-05T14:29:44Z)
• A Mechanistic Analysis of a Transformer Trained on a Symbolic Multi-Step Reasoning Task [14.921790126851008]
  合成推論タスクで訓練された変圧器の包括的力学解析について述べる。 モデルがタスクの解決に使用する解釈可能なメカニズムのセットを特定し,相関的および因果的証拠を用いた結果の検証を行った。
  論文  参考訳（メタデータ） (2024-02-19T08:04:25Z)
• Investigating Recurrent Transformers with Dynamic Halt [64.862738244735]
  本研究では, 変圧器の繰り返し機構を付加する2つの主要な手法の帰納バイアスについて検討する。 提案手法を拡張・結合する新しい手法を提案し,検討する。
  論文  参考訳（メタデータ） (2024-02-01T19:47:31Z)
• On the Convergence of Encoder-only Shallow Transformers [62.639819460956176]
  エンコーダのみの浅部変圧器のグローバル収束理論を現実的な条件下で構築する。 我々の結果は、現代のトランスフォーマー、特にトレーニング力学の理解を深める道を開くことができる。
  論文  参考訳（メタデータ） (2023-11-02T20:03:05Z)
• In-Context Convergence of Transformers [63.04956160537308]
  勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。 不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
  論文  参考訳（メタデータ） (2023-10-08T17:55:33Z)
• Birth of a Transformer: A Memory Viewpoint [25.294093283819443]
  トランスフォーマーに基づく大規模言語モデルは、経験的成功を収めた。 より広くデプロイされているため、より信頼性を高めるために、内部メカニズムをよりよく理解する必要がある。 本研究では,グローバルあるいはコンテキスト固有のビッグラムからトークンが生成される合成セットアップを考慮し,これらの2種類の知識分布のバランスについて検討する。
  論文  参考訳（メタデータ） (2023-06-01T15:30:33Z)
• Transformers learn in-context by gradient descent [58.24152335931036]
  自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。 トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
  論文  参考訳（メタデータ） (2022-12-15T09:21:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。