論文の概要: Identifying and Evaluating Inactive Heads in Pretrained LLMs

• arxiv url: http://arxiv.org/abs/2504.03889v3
• Date: Wed, 08 Oct 2025 19:58:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 15:34:28.432533
• Title: Identifying and Evaluating Inactive Heads in Pretrained LLMs
• Title（参考訳）: プレトレーニングLDMにおける不活性頭部の同定と評価
• Authors: Pedro Sandoval-Segura, Xijun Wang, Ashwinee Panda, Micah Goldblum, Ronen Basri, Tom Goldstein, David Jacobs,
• Abstract要約: 本研究では,頭部の不活性度を計測する13のスコア関数の分類法を提案する。 平均して12%以上の注意頭は活動せず、特定の文脈で改善することができる。 スコア分布を測定することで、注意行動に対する洞察が得られることを示す。
• 参考スコア（独自算出の注目度）: 74.93559410792646
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention is foundational to large language models (LLMs), enabling different heads to have diverse focus on relevant input tokens. However, learned behaviors like attention sinks, where the first token receives the most attention despite limited semantic importance, suggest some heads may be inactive, and point to a significant source of computational redundancy. To analyze this phenomenon, we propose a taxonomy of 13 score functions that measure different ways a head can be inactive. Thresholding these scores allows us to analyze different sets of potentially inactive attention heads. We evaluate whether identified heads are inactive through model interventions, finding that more than 12% of attention heads are inactive on average, and can be ablated in specific contexts while maintaining MMLU accuracy to within 1% of the pretrained LLM. Across 3 model families, our score functions that measure the average norm of a head's output consistently identify inactive heads that would not have been found by score functions that rely solely on attention weights. We establish that relying on a score function that measures a first token attention sink would underestimate the prevalence of inactive heads, failing to identify more than 7% of inactive heads on average. We also show how measuring score distributions can provide insights into attention behavior. For instance, we find evidence that finetuning causes little to no change in attention behavior, and that even within the same model family, large model scales present markedly different attention behaviors.
• Abstract（参考訳）: 注意は大きな言語モデル(LLM)の基礎であり、異なるヘッドが関連する入力トークンに様々な焦点を合わせることができる。 しかし、注意シンクのような学習された行動では、意味的重要性が限られているにもかかわらず、最初のトークンが最も注意を払っている。 この現象を解析するために,頭部の不活性度を計測する13のスコア関数の分類法を提案する。 これらのスコアを保持することで、さまざまな非アクティブなアテンションヘッドを分析できます。 特定頭部がモデル介入により不活性であるか否かを評価し,注意頭部の12%以上が平均で不活性であり,MMLUの精度を事前訓練したLLMの1%以内に保ちながら,特定の文脈で改善可能であることを確認した。 3つのモデルファミリーにまたがって、頭部出力の平均ノルムを測定するスコア関数は、注意重みのみに依存するスコア関数では見つからなかった不活性なヘッドを一貫して識別する。 我々は,最初のトークン注意シンクを測定するスコア関数に依存すると,不活性な頭部の頻度を過小評価し,平均的な不活性な頭部の7%以上を識別できないことを確認した。 また、スコア分布を測定することで、注意行動に対する洞察が得られることを示す。 例えば、ファインタニングが注意行動の変化をほとんど起こさないという証拠や、同じモデルファミリー内であっても、大きなモデルスケールが顕著に異なる注意行動を示すことを示す。

関連論文リスト

• AttentionInfluence: Adopting Attention Head Influence for Weak-to-Strong Pretraining Data Selection [9.555955025064895]
  本研究では、推論集約型事前学習データを特定するために、注意の影響を提案する。 我々のアプローチは、簡単な注意頭マスキング操作により、訓練済みの小さな言語モデルを強力なデータセレクタとして機能させることができる。 実験結果から,知識集約型および推論重度ベンチマークにおいて,1.4ppから3.5ppまでの大幅な改善が得られた。
  論文  参考訳（メタデータ） (2025-05-12T07:25:51Z)
• Retrieval Head Mechanistically Explains Long-Context Factuality [56.78951509492645]
  我々は,検索ヘッドをダブする特別なタイプの注意ヘッドが,主に情報検索に責任があることを実証した。 本研究は,検索ヘッドが思考の連鎖(CoT)推論に強く影響していることを示し,モデルが質問や以前生成した文脈を頻繁に参照する必要があることを示す。 我々は、幻覚の低減、推論の改善、KVキャッシュの圧縮に関する今後の研究を促進すると信じている。
  論文  参考訳（メタデータ） (2024-04-24T00:24:03Z)
• Beyond Confidence: Reliable Models Should Also Consider Atypicality [43.012818086415514]
  サンプルやクラスが非典型的であるかとモデルの予測の信頼性との関係について検討する。 非定型入力や非定型クラスの予測は、より過信であり、精度が低いことを示す。 モデルの信頼性だけでなく,不確かさの定量化や性能向上にも非定型性を用いるべきである。
  論文  参考訳（メタデータ） (2023-05-29T17:37:09Z)
• Revisiting Attention Weights as Explanations from an Information Theoretic Perspective [4.499369811647602]
  注意機構は、他のモデル要素と慎重に組み合わせた場合、説明をモデル化するためのショートカットとして機能する可能性があることを示す。 本研究により,注意機構は,他のモデル要素と慎重に組み合わせた場合,モデル説明のためのショートカットとして機能する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-10-31T12:53:20Z)
• Do Transformer Models Show Similar Attention Patterns to Task-Specific Human Gaze? [0.0]
  最先端のNLPモデルにおける自己注意機能は、人間の注意と相関することが多い。 本研究では、大規模事前学習言語モデルにおける自己注意が、人間の注意の古典的認知モデルとしての課題読解における人間の眼球固定パターンの予測であるかどうかを検討する。
  論文  参考訳（メタデータ） (2022-04-25T08:23:13Z)
• Your "Attention" Deserves Attention: A Self-Diversified Multi-Channel Attention for Facial Action Analysis [12.544285462327839]
  本稿では,ニューラルアテンションマップの表現力と集中力を高めるためのコンパクトモデルを提案する。 提案手法は,AU検出のための2つのベンチマークデータベース (BP4D, DISFA) と顔認識のための4つのデータベース (CK+, MMI, BU-3DFE, BP4D+) で評価した。 最先端の手法に比べて優れた性能を発揮する。
  論文  参考訳（メタデータ） (2022-03-23T17:29:51Z)
• Attention cannot be an Explanation [99.37090317971312]
  私たちは、人間の信頼と信頼を高める上で、注意に基づく説明がどの程度効果的か尋ねる。 我々は,注意に基づく説明が適している程度を質的かつ定量的に評価することを目的とした広範囲な人間実験を行った。 実験の結果,注意は説明として利用できないことが明らかとなった。
  論文  参考訳（メタデータ） (2022-01-26T21:34:05Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• The heads hypothesis: A unifying statistical approach towards understanding multi-headed attention in BERT [18.13834903235249]
  マルチヘッドアテンションヘッドはトランスベースのモデルにおける主役です。 対向きの注目度の高いトークン間の関係に基づいて、各注意ヘッドの役割を分類する異なる方法が提案されている。 我々は,注意ヘッドのすべての役割に一般化する単純かつ効果的なスコアを定式化し,このスコアに仮説テストを適用してロバストな推論を行う。
  論文  参考訳（メタデータ） (2021-01-22T14:10:59Z)
• How Well Do Self-Supervised Models Transfer? [92.16372657233394]
  我々は、40の下流タスクにおいて、トップ13の自己教師型モデルの転送性能を評価する。 ImageNet Top-1の精度は、マルチショット認識への転送と非常に相関している。 全体としては、単一の自己監督的手法が支配的ではなく、普遍的な事前訓練がまだ未解決であることを示唆している。
  論文  参考訳（メタデータ） (2020-11-26T16:38:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。