論文の概要: Using Attention Sinks to Identify and Evaluate Dormant Heads in Pretrained LLMs

• arxiv url: http://arxiv.org/abs/2504.03889v1
• Date: Fri, 04 Apr 2025 19:28:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 07:39:05.982613
• Title: Using Attention Sinks to Identify and Evaluate Dormant Heads in Pretrained LLMs
• Title（参考訳）: 注意シンクを用いた前訓練LDMにおける休眠頭部の同定と評価
• Authors: Pedro Sandoval-Segura, Xijun Wang, Ashwinee Panda, Micah Goldblum, Ronen Basri, Tom Goldstein, David Jacobs,
• Abstract要約: 本稿では,入眠注意頭として知られる注意シンクに支配される注意頭について,新たな定義を提案する。 モデルのアテンションヘッドの4%以上が平均精度を維持しながらゼロにすることができる。 休眠頭は前訓練の早期に出現し、前訓練中に休眠状態と活動状態の間で遷移する。
• 参考スコア（独自算出の注目度）: 77.43913758420948
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-head attention is foundational to large language models (LLMs), enabling different heads to have diverse focus on relevant input tokens. However, learned behaviors like attention sinks, where the first token receives most attention despite limited semantic importance, challenge our understanding of multi-head attention. To analyze this phenomenon, we propose a new definition for attention heads dominated by attention sinks, known as dormant attention heads. We compare our definition to prior work in a model intervention study where we test whether dormant heads matter for inference by zeroing out the output of dormant attention heads. Using six pretrained models and five benchmark datasets, we find our definition to be more model and dataset-agnostic. Using our definition on most models, more than 4% of a model's attention heads can be zeroed while maintaining average accuracy, and zeroing more than 14% of a model's attention heads can keep accuracy to within 1% of the pretrained model's average accuracy. Further analysis reveals that dormant heads emerge early in pretraining and can transition between dormant and active states during pretraining. Additionally, we provide evidence that they depend on characteristics of the input text.
• Abstract（参考訳）: マルチヘッドは大きな言語モデル(LLM)の基礎であり、異なるヘッドが関連する入力トークンに様々な焦点を合わせることができる。 しかし、注意シンクのような学習された行動では、意味的重要性が限られているにもかかわらず、最初のトークンが最も注目を集めているため、マルチヘッドの理解に挑戦する。 そこで本研究では,この現象を解析するために,入眠注意ヘッドとして知られる注目シンクに支配される注目ヘッドの新たな定義を提案する。 モデル介入研究において、我々の定義と事前の作業との比較を行い、休眠注意ヘッドの出力をゼロにすることで、休眠ヘッドが推論に重要かどうかを検証した。 6つの事前訓練されたモデルと5つのベンチマークデータセットを使用して、我々の定義はよりモデルとデータセットに依存しない。 ほとんどのモデルにおける我々の定義を用いて、モデルの注意ヘッドの4%以上が平均精度を維持しながらゼロ化することができ、モデルの注意ヘッドの14%以上が事前訓練されたモデルの平均精度の1%以内まで精度を維持することができる。 さらなる分析により、予備訓練の初期段階に休眠頭が出現し、予備訓練中に休眠状態と活動状態の間で遷移することが明らかとなった。 さらに,入力テキストの特徴に依存していることを示す。

関連論文リスト

• Retrieval Head Mechanistically Explains Long-Context Factuality [56.78951509492645]
  我々は,検索ヘッドをダブする特別なタイプの注意ヘッドが,主に情報検索に責任があることを実証した。 本研究は,検索ヘッドが思考の連鎖(CoT)推論に強く影響していることを示し,モデルが質問や以前生成した文脈を頻繁に参照する必要があることを示す。 我々は、幻覚の低減、推論の改善、KVキャッシュの圧縮に関する今後の研究を促進すると信じている。
  論文  参考訳（メタデータ） (2024-04-24T00:24:03Z)
• Beyond Confidence: Reliable Models Should Also Consider Atypicality [43.012818086415514]
  サンプルやクラスが非典型的であるかとモデルの予測の信頼性との関係について検討する。 非定型入力や非定型クラスの予測は、より過信であり、精度が低いことを示す。 モデルの信頼性だけでなく,不確かさの定量化や性能向上にも非定型性を用いるべきである。
  論文  参考訳（メタデータ） (2023-05-29T17:37:09Z)
• Revisiting Attention Weights as Explanations from an Information Theoretic Perspective [4.499369811647602]
  注意機構は、他のモデル要素と慎重に組み合わせた場合、説明をモデル化するためのショートカットとして機能する可能性があることを示す。 本研究により,注意機構は,他のモデル要素と慎重に組み合わせた場合,モデル説明のためのショートカットとして機能する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-10-31T12:53:20Z)
• Do Transformer Models Show Similar Attention Patterns to Task-Specific Human Gaze? [0.0]
  最先端のNLPモデルにおける自己注意機能は、人間の注意と相関することが多い。 本研究では、大規模事前学習言語モデルにおける自己注意が、人間の注意の古典的認知モデルとしての課題読解における人間の眼球固定パターンの予測であるかどうかを検討する。
  論文  参考訳（メタデータ） (2022-04-25T08:23:13Z)
• Your "Attention" Deserves Attention: A Self-Diversified Multi-Channel Attention for Facial Action Analysis [12.544285462327839]
  本稿では,ニューラルアテンションマップの表現力と集中力を高めるためのコンパクトモデルを提案する。 提案手法は,AU検出のための2つのベンチマークデータベース (BP4D, DISFA) と顔認識のための4つのデータベース (CK+, MMI, BU-3DFE, BP4D+) で評価した。 最先端の手法に比べて優れた性能を発揮する。
  論文  参考訳（メタデータ） (2022-03-23T17:29:51Z)
• Attention cannot be an Explanation [99.37090317971312]
  私たちは、人間の信頼と信頼を高める上で、注意に基づく説明がどの程度効果的か尋ねる。 我々は,注意に基づく説明が適している程度を質的かつ定量的に評価することを目的とした広範囲な人間実験を行った。 実験の結果,注意は説明として利用できないことが明らかとなった。
  論文  参考訳（メタデータ） (2022-01-26T21:34:05Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• The heads hypothesis: A unifying statistical approach towards understanding multi-headed attention in BERT [18.13834903235249]
  マルチヘッドアテンションヘッドはトランスベースのモデルにおける主役です。 対向きの注目度の高いトークン間の関係に基づいて、各注意ヘッドの役割を分類する異なる方法が提案されている。 我々は,注意ヘッドのすべての役割に一般化する単純かつ効果的なスコアを定式化し,このスコアに仮説テストを適用してロバストな推論を行う。
  論文  参考訳（メタデータ） (2021-01-22T14:10:59Z)
• How Well Do Self-Supervised Models Transfer? [92.16372657233394]
  我々は、40の下流タスクにおいて、トップ13の自己教師型モデルの転送性能を評価する。 ImageNet Top-1の精度は、マルチショット認識への転送と非常に相関している。 全体としては、単一の自己監督的手法が支配的ではなく、普遍的な事前訓練がまだ未解決であることを示唆している。
  論文  参考訳（メタデータ） (2020-11-26T16:38:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。