論文の概要: Induction Heads Interpolate N-Grams

• arxiv url: http://arxiv.org/abs/2607.02800v1
• Date: Thu, 02 Jul 2026 22:19:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.423534
• Title: Induction Heads Interpolate N-Grams
• Title（参考訳）: 誘導ヘッドはN-グラムを補間する
• Abstract要約: 誘導ヘッドは、変換器におけるコンテキスト内学習の基盤となると考えられる注意回路である。 我々は秩序$k$マルコフ連鎖で訓練された変圧器について検討し、2つの相補的平滑化機構を同定した。 この結果から,従来の統計スムース化による誘導ヘッドの機械論的解釈可能性の橋渡し,変換器は単に数えるのではなく,文脈内推定を正規化することを学ぶことが明らかとなった。
• 参考スコア（独自算出の注目度）: 29.939177622666858
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Induction heads are attention circuits believed to underlie in-context learning in transformers, yet a precise characterization of the estimators they implement remains elusive. We study transformers trained on order-$k$ Markov chains and identify two complementary smoothing mechanisms. First, at finite attention-weight scale, the circuit implements a soft context-matching estimator: it aggregates contributions from exact and partial context matches, weighted exponentially by their overlap, and induces a data-dependent interpolation across context orders analogous to Jelinek-Mercer smoothing. Second, a beginning-of-sequence (BOS) token induces additive pseudo-counts, recovering Dirichlet-style smoothing. We construct a disentangled transformer implementing both mechanisms and show that trained transformers recover the predicted attention patterns. Across settings where pseudo-count smoothing is optimal or lower-order contexts provide structured evidence, trained transformers match or outperform classical count-based baselines. Our results bridge mechanistic interpretability of induction heads with classical statistical smoothing, revealing that transformers learn to regularize in-context estimation rather than simply count.
• Abstract（参考訳）: 誘導ヘッド(英: induction head)は、変圧器における文脈内学習の根底にあると考えられる注意回路であるが、それらが実装する推定器の正確な特性は解明されていない。 我々は秩序$k$マルコフ連鎖で訓練された変圧器について検討し、2つの相補的平滑化機構を同定した。 まず、有限の注意重みスケールで、回路はソフトなコンテキストマッチング推定器を実装し、正確なコンテキストマッチと部分的なコンテキストマッチからのコントリビューションを集約し、そのオーバーラップによって指数関数的に重み付けし、Jelink-Mercerスムージングに似たコンテキストオーダー間のデータ依存補間を誘導する。 次に、BOSトークンは付加的な擬似カウントを誘導し、ディリクレスタイルの平滑化を回復する。 両機構を実装した非交叉変圧器を構築し, トレーニングした変圧器が予測された注意パターンを復元することを示す。 擬似数平滑化が最適か下位の文脈であるような設定は、構造化されたエビデンスを提供し、訓練されたトランスフォーマーは古典的なカウントベースベースラインにマッチするか、上回る。 この結果から,従来の統計スムース化による誘導ヘッドの機械論的解釈可能性の橋渡し,変換器は単に数えるのではなく,文脈内推定を正規化することを学ぶことが明らかとなった。

関連論文リスト

• Interior interpretability with attention rollout: contraction and propagation profiles in Transformers [17.72586636966418]
  本稿では,内部モデル組織における伝搬的視点であるEmphinterior Interpretabilityを紹介する。 特徴トークン間のアテンションによる伝搬を符号化する行確率演算子としてロールアウトを解釈する。
  論文  参考訳（メタデータ） (2026-07-24T14:51:28Z)
• Transformers Learn Latent Mixture Models In-Context via Mirror Descent [36.758716760573215]
  シーケンスモデリングでは、過去のトークンがコンテキストとその重要性から因果関係があるかを判断する必要がある。 遷移分布の混合に基づくフレームワークを導入し、遅延変数が過去のトークンが次に与える影響を決定する。 コンテクストからこれらの重みを学習するために、トランスフォーマーがMirror Descentを実装することを実証する。
  論文  参考訳（メタデータ） (2026-04-12T22:45:43Z)
• Selective Induction Heads: How Transformers Select Causal Structures In Context [50.09964990342878]
  因果構造を扱うトランスフォーマーの能力を示す新しいフレームワークを提案する。 我々のフレームワークは、遷移確率を固定しつつ、ラグの異なるマルコフ鎖をインターリーブすることで因果構造を変化させる。 この設定は、コンテクスト内で正しい因果構造を選択できる新しい回路である選択誘導ヘッド(Selective induction Heads)を形成する。
  論文  参考訳（メタデータ） (2025-09-09T23:13:41Z)
• Provable In-Context Learning of Nonlinear Regression with Transformers [66.99048542127768]
  In-context Learning (ICL) は、パラメータを更新することなくタスク固有のプロンプトを使用して見えないタスクを実行する能力である。 最近の研究はICLの背後にあるトレーニングのダイナミクスを積極的に探求しており、その多くは比較的単純なタスクに重点を置いている。 本稿では、変換器が文脈内学習能力をいかに獲得するかを明らかにすることを目的として、より複雑な非線形回帰タスクについて検討する。
  論文  参考訳（メタデータ） (2025-07-28T00:09:28Z)
• Transformers Don't In-Context Learn Least Squares Regression [5.648229654902264]
  In-context Learning (ICL) は、大規模な事前学習型トランスフォーマーの強力な能力として登場した。 我々は、トランスフォーマーが推論時に学習をどのように実装するかを研究する。 ICLの行動形成におけるプレトレーニングコーパスの役割を強調した。
  論文  参考訳（メタデータ） (2025-07-13T01:09:26Z)
• Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
  インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。 本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。 実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
  論文  参考訳（メタデータ） (2024-10-22T21:30:01Z)
• Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
  中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。 実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。 分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-05T14:29:44Z)
• In-Context Convergence of Transformers [63.04956160537308]
  勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。 不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
  論文  参考訳（メタデータ） (2023-10-08T17:55:33Z)
• Trained Transformers Learn Linear Models In-Context [39.56636898650966]
  トランスフォーマーとしての注意に基づくニューラルネットワークは、意図的学習(ICL)を示す顕著な能力を示した 線形回帰問題のランダムな例に対する変圧器の訓練において、これらのモデルの予測は通常の正方形の非線形性を模倣することを示した。
  論文  参考訳（メタデータ） (2023-06-16T15:50:03Z)
• Transformers learn in-context by gradient descent [58.24152335931036]
  自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。 トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
  論文  参考訳（メタデータ） (2022-12-15T09:21:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。