論文の概要: What needs to go right for an induction head? A mechanistic study of in-context learning circuits and their formation

• arxiv url: http://arxiv.org/abs/2404.07129v1
• Date: Wed, 10 Apr 2024 16:07:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-11 13:51:53.760674
• Title: What needs to go right for an induction head? A mechanistic study of in-context learning circuits and their formation
• Title（参考訳）: 誘導頭部に何が必要か : 文脈内学習回路とその構成に関する力学的研究
• Authors: Aaditya K. Singh, Ted Moskovitz, Felix Hill, Stephanie C. Y. Chan, Andrew M. Saxe,
• Abstract要約: インコンテキスト学習はトランスフォーマーモデルにおける強力な創発的能力である。 誘導ヘッド(IH)は、文脈内学習において重要な回路要素である。 合成データを用いたトレーニングにより, 制御された環境下でのIHの出現動態について検討した。
• 参考スコア（独自算出の注目度）: 26.108239464092204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning is a powerful emergent ability in transformer models. Prior work in mechanistic interpretability has identified a circuit element that may be critical for in-context learning -- the induction head (IH), which performs a match-and-copy operation. During training of large transformers on natural language data, IHs emerge around the same time as a notable phase change in the loss. Despite the robust evidence for IHs and this interesting coincidence with the phase change, relatively little is known about the diversity and emergence dynamics of IHs. Why is there more than one IH, and how are they dependent on each other? Why do IHs appear all of a sudden, and what are the subcircuits that enable them to emerge? We answer these questions by studying IH emergence dynamics in a controlled setting by training on synthetic data. In doing so, we develop and share a novel optogenetics-inspired causal framework for modifying activations throughout training. Using this framework, we delineate the diverse and additive nature of IHs. By clamping subsets of activations throughout training, we then identify three underlying subcircuits that interact to drive IH formation, yielding the phase change. Furthermore, these subcircuits shed light on data-dependent properties of formation, such as phase change timing, already showing the promise of this more in-depth understanding of subcircuits that need to "go right" for an induction head.
• Abstract（参考訳）: インコンテキスト学習はトランスフォーマーモデルにおける強力な創発的能力である。 機械的解釈可能性に関する以前の研究は、文脈内学習において重要な回路要素である帰納的ヘッド(IH)を特定し、マッチ・アンド・コピー操作を行う。 自然言語データに対する大きなトランスフォーマーのトレーニング中、IHは損失の顕著な位相変化と同時期に出現する。 IHsの堅牢な証拠と相変化とのこの興味深い一致にもかかわらず、IHsの多様性と出現ダイナミクスについてはあまり知られていない。 なぜ複数のIHがあり、どのように互いに依存するのか? なぜ突然IHが出現し、それを可能にするサブサーキットは何か? 合成データのトレーニングによって制御された環境でIHの出現動態を研究することにより,これらの疑問に答える。 そこで我々は、学習を通してアクティベーションを変更するための、新しいオプトジェネティクスにインスパイアされた因果関係の枠組みを開発し、共有する。 このフレームワークを用いて、IHの多様で付加的な性質を概説する。 トレーニングを通して活性化のサブセットをクランプすることで、IH形成を促進するために相互作用する3つのサブ回路を同定し、位相変化をもたらす。 さらに、これらのサブ回路は、位相変化のタイミングのようなデータ依存的な形成特性に光を当て、誘導ヘッドのために「右に進む」必要があるサブ回路のより深い理解の可能性を既に示している。

関連論文リスト

• Why do Learning Rates Transfer? Reconciling Optimization and Scaling Limits for Deep Learning [77.82908213345864]
  学習速度伝達が$mu$Pとその深さ拡張の下では、トレーニング損失Hessianの最大の固有値がネットワークの幅と深さに大きく依存しているという事実から、経験的証拠が得られている。 ニューラル・タンジェント・カーネル(NTK)体制下では、シャープネスは異なるスケールで非常に異なるダイナミクスを示し、学習速度の伝達を妨げている。
  論文  参考訳（メタデータ） (2024-02-27T12:28:01Z)
• How Transformers Learn Causal Structure with Gradient Descent [49.808194368781095]
  自己注意はトランスフォーマーが因果構造をエンコードすることを可能にする。 我々は、潜在因果構造を学習する必要があるコンテキスト内学習タスクを導入する。 我々は、文脈内学習タスクで訓練されたトランスフォーマーが、様々な因果構造を回復できることを示す。
  論文  参考訳（メタデータ） (2024-02-22T17:47:03Z)
• Linear Oscillation: A Novel Activation Function for Vision Transformer [0.0]
  線形振動(LoC)活性化関数を$f(x) = x times sin(alpha x + beta)$と定義する。 非線型性を主に導入する従来の活性化関数とは違い、LoCは線形軌道と振動偏差をシームレスにブレンドする。 私たちの経験的研究によると、多様なニューラルネットワークに組み込むと、LoCアクティベーション機能は、ReLUやSigmoidといった確立したアーキテクチャよりも一貫して優れています。
  論文  参考訳（メタデータ） (2023-08-25T20:59:51Z)
• Latent State Models of Training Dynamics [51.88132043461152]
  異なるランダムなシードでモデルをトレーニングし、トレーニングを通じてさまざまなメトリクスを計算します。 次に、結果のメトリクス列に隠れマルコフモデル(HMM)を適合させる。 我々はHMM表現を用いて相転移を研究し、収束を遅くする潜伏状態(detour state)を特定する。
  論文  参考訳（メタデータ） (2023-08-18T13:20:08Z)
• Instructed Diffuser with Temporal Condition Guidance for Offline Reinforcement Learning [71.24316734338501]
  テンポラリ・コンポラブル・ディフューザ(TCD)を用いた実効時間条件拡散モデルを提案する。 TCDは、相互作用シーケンスから時間情報を抽出し、時間条件で生成を明示的にガイドする。 提案手法は,従来のSOTAベースラインと比較して最高の性能を達成または一致させる。
  論文  参考訳（メタデータ） (2023-06-08T02:12:26Z)
• The Information Pathways Hypothesis: Transformers are Dynamic Self-Ensembles [24.52890377175555]
  本研究では,学習中の自己注意の記憶と計算コストを4～8倍に削減できる変圧器の汎用的学習戦略を提案する。 本研究では,ネットワーク内のサブサンプリング経路からサブモデルのアンサンブルを生成できることを示す。
  論文  参考訳（メタデータ） (2023-06-02T17:28:46Z)
• Quantum gas-enabled direct mapping of active current density in percolating networks of nanowires [0.0]
  本稿ではBose-Einstein顕微鏡を導入し,2次元材料におけるアクティブ電流流の画像化の長年の問題に対処する。 既存の熱画像法と組み合わせることで、電気的特性と熱的特性の仮定が不要になることを示す。
  論文  参考訳（メタデータ） (2023-03-21T17:23:17Z)
• Transformers learn in-context by gradient descent [58.24152335931036]
  自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。 トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
  論文  参考訳（メタデータ） (2022-12-15T09:21:21Z)
• Effects of Parameter Norm Growth During Transformer Training: Inductive Bias from Gradient Descent [44.44543743806831]
  本研究では, トレーニング中にこれらの標準間に飽和しながら, 変圧器パラメータが大きくなる傾向について検討した。 パラメータが大きくなるにつれて、ネットワークは飽和活性化関数を持つ離散化されたネットワークに近似することが証明される。 以上の結果から,飽和はNLPに対する特定の関心のGDに暗黙的な誘導バイアスの新たな特徴であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-19T17:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。