論文の概要: Induction Head Toxicity Mechanistically Explains Repetition Curse in Large Language Models

• arxiv url: http://arxiv.org/abs/2505.13514v1
• Date: Sat, 17 May 2025 03:09:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.354489
• Title: Induction Head Toxicity Mechanistically Explains Repetition Curse in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける繰り返しカースを機械的に説明する誘導的頭部毒性
• Authors: Shuxun Wang, Qingyu Yin, Chak Tou Leong, Qiang Zhang, Linyi Yang,
• Abstract要約: 我々は誘導ヘッドを繰り返しの呪いのキードライバーとみなす。 本稿では,誘導ヘッドの世代別優位性を抑えるため,注目頭部規則化手法を提案する。
• 参考スコア（独自算出の注目度）: 24.666925550391024
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Repetition curse is a phenomenon where Large Language Models (LLMs) generate repetitive sequences of tokens or cyclic sequences. While the repetition curse has been widely observed, its underlying mechanisms remain poorly understood. In this work, we investigate the role of induction heads--a specific type of attention head known for their ability to perform in-context learning--in driving this repetitive behavior. Specifically, we focus on the "toxicity" of induction heads, which we define as their tendency to dominate the model's output logits during repetition, effectively excluding other attention heads from contributing to the generation process. Our findings have important implications for the design and training of LLMs. By identifying induction heads as a key driver of the repetition curse, we provide a mechanistic explanation for this phenomenon and suggest potential avenues for mitigation. We also propose a technique with attention head regularization that could be employed to reduce the dominance of induction heads during generation, thereby promoting more diverse and coherent outputs.
• Abstract（参考訳）: 反復呪い(英: Repetition curse)とは、Large Language Models (LLM) がトークンやサイクリックシーケンスの繰り返しシーケンスを生成する現象である。 繰り返しの呪いは広く観測されているが、その根底にあるメカニズムはいまだに理解されていない。 本研究は,この反復行動の促進にともなう,インコンテクスト内学習能力で知られた,特定のタイプの注意頭の役割について検討する。 具体的には、誘導ヘッドの「毒性」に焦点をあて、繰り返しの間にモデルの出力ロジットを支配する傾向として定義し、他の注意ヘッドが生成プロセスに寄与しないことを効果的に排除する。 本研究はLLMの設計と訓練に重要な意味を持つ。 繰り返しの呪いの鍵となる誘導頭部を同定することにより、この現象の機械的説明を提供し、緩和のための潜在的な道筋を提案する。 また,アテンションヘッドの正規化により,生成時の誘導ヘッドの優位性を低減し,より多様なコヒーレントな出力を促進する手法を提案する。

関連論文リスト

• Interpreting the Repeated Token Phenomenon in Large Language Models [31.1226642501095]
  大きな言語モデル (LLM) は、引き起こされた時に1つの単語を正確に繰り返すことができず、代わりに無関係なテキストを出力する。 「この現象の原因を説明し、注意流しの概念と結びつけよう。」 我々の研究は、注意シンクの原因となる神経回路を特定し、この回路がどれくらいの時間繰り返しで破壊されるかを示す。
  論文  参考訳（メタデータ） (2025-03-11T21:40:58Z)
• Active-Dormant Attention Heads: Mechanistically Demystifying Extreme-Token Phenomena in LLMs [77.66717051042032]
  実践者は変圧器に基づく大言語モデルにおいて、3つのパズリング現象を一貫して観察してきた。 これらの現象は、ある種のいわゆる「シンクトークン」が不当に高い注意重みを負っているのが特徴である。 極端トーケン現象のメカニズムを解明する。
  論文  参考訳（メタデータ） (2024-10-17T17:54:06Z)
• Iteration Head: A Mechanistic Study of Chain-of-Thought [6.072247578478243]
  CoT(Chain-of-Thought)推論は、大規模言語モデルを改善することが知られている。 本稿では,制御・解釈可能な環境下での変圧器のCoT推論について述べる。
  論文  参考訳（メタデータ） (2024-06-04T09:11:46Z)
• Repetition In Repetition Out: Towards Understanding Neural Text Degeneration from the Data Perspective [91.14291142262262]
  この研究は、データの観点から、単純で基本的な説明を提示する。 予備調査では, 退化問題とトレーニングデータにおける反復の有無との間には強い相関関係がみられた。 実験の結果,訓練データにおける繰り返しのペナルティ化は,より大きなモデルサイズや命令のチューニングを考慮しても重要な課題であることがわかった。
  論文  参考訳（メタデータ） (2023-10-16T09:35:42Z)
• In-context Learning and Induction Heads [5.123049926855312]
  インダクションヘッド(Induction Head)は、トークンシーケンスを完了するための単純なアルゴリズムを実装するアテンションヘッドである。 インテキスト学習能力の急激な増加に伴い, 誘導頭部は, ほぼ同程度に発達することがわかった。
  論文  参考訳（メタデータ） (2022-09-24T00:43:19Z)
• ACRE: Abstract Causal REasoning Beyond Covariation [90.99059920286484]
  因果誘導における現在の視覚システムの系統的評価のための抽象因果分析データセットについて紹介する。 Blicket実験における因果発見の研究の流れに触発され、独立シナリオと介入シナリオのいずれにおいても、以下の4種類の質問で視覚的推論システムに問い合わせる。 純粋なニューラルモデルは確率レベルのパフォーマンスの下で連想戦略に向かう傾向があるのに対し、ニューロシンボリックな組み合わせは後方ブロッキングの推論に苦しむ。
  論文  参考訳（メタデータ） (2021-03-26T02:42:38Z)
• On-the-Fly Attention Modularization for Neural Generation [54.912042110885366]
  生成したテキストは反復的であり,汎用的であり,自己矛盾であり,常識を欠いている。 本研究は,インダクティブバイアスを推論中に注入する簡易かつ効果的な手法である,オンザフライアテンション・モダナイゼーションを動機とする。
  論文  参考訳（メタデータ） (2021-01-02T05:16:46Z)
• Repulsive Attention: Rethinking Multi-head Attention as Bayesian Inference [68.12511526813991]
  ベイズの視点からの多面的注目の新たな理解を提供する。 マルチヘッドアテンションにおける反発性を明示的に改善する非パラメトリックアプローチを提案する。 様々な注意モデルや応用実験により、提案された反発的注意が学習された特徴の多様性を向上させることが示されている。
  論文  参考訳（メタデータ） (2020-09-20T06:32:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。