論文の概要: Fewer Heads, Fewer Memories: Pruning Redundant Attention Heads Suppresses Verbatim Memorisation

• arxiv url: http://arxiv.org/abs/2610.40974v1
• Date: Thu, 29 Oct 2026 20:59:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.493987
• Title: Fewer Heads, Fewer Memories: Pruning Redundant Attention Heads Suppresses Verbatim Memorisation
• Title（参考訳）: 記憶力の低い頭と記憶力の低い頭
• Abstract要約: 推測に先立って、かなりの数の注意ヘッドをゼロにすることは、記憶を著しく抑制できることを示した。 729のタスク依存ヘッドを刈り取ると、記憶数は91.5%減少し、WikiText-103のパープレキシティは0.92改善した。
• 参考スコア（独自算出の注目度）: 10.40711309985343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models have been shown to memorise and reproduce verbatim sequences from their training data, raising concerns about privacy leakage, intellectual property exposure, and the limits of generalisation. Recent theoretical work suggests that attention heads may contribute to this behaviour by functioning as associative memory mechanisms, with memorisation capacity scaling with the number of heads. At the same time, empirical work has shown that many attention heads are redundant and can be pruned with limited impact on downstream performance. Despite these parallel findings, the effect of pruning redundant heads on memorised-sequence reproduction remains unexplored. In this work, we demonstrate that zeroing out a substantial fraction of attention heads prior to inference can significantly suppress verbatim memorisation while preserving, or even improving, language modelling performance on the benchmark used to identify redundant heads. Evaluating GPT-2-XL(1.5B) on known memorised sequences, we find that pruning 729 task-redundant heads reduces the memorisation count by 91.5%, while improving WikiText-103 perplexity by 0.92. These findings suggest that attention-head redundancy can be exploited to mitigate memorisation at inference time, without retraining or modifying the training data.
• Abstract（参考訳）: 大規模な言語モデルは、トレーニングデータから動詞の列を記憶し、再現することが示され、プライバシーの漏洩、知的財産の暴露、一般化の限界への懸念が高まっている。 近年の理論的研究は、注意頭が連想記憶機構として機能し、記憶能力が頭数と共に拡張されることによって、この行動に寄与する可能性を示唆している。 同時に、実証的な研究により、多くの注意頭は冗長であり、下流のパフォーマンスに限られた影響で刈り取られることが示されている。 これらの平行な発見にもかかわらず、記憶されたシーケンスの再生に対する冗長な頭部の刈り取りの効果は未発見のままである。 本研究は, 冗長な頭部の識別に使用されるベンチマークにおいて, 言語モデリング性能を保ちながら, 単語の暗記を著しく抑制できることを示す。 既知の記憶配列上でGPT-2-XL(1.5B)を評価すると、729個のタスク依存ヘッドを刈り取ると、記憶数は91.5%減少し、WikiText-103の難易度は0.92向上する。 これらの結果から,トレーニングデータの再トレーニングや修正を行うことなく,注意頭冗長性が推測時の記憶の軽減に有効であることが示唆された。

関連論文リスト

• Intuition with Evidence: Adaptive Dual Memory for Multimodal Agents [49.138605494181036]
  長期記憶は、微細なエビデンスをリコールし、内部化された解釈という、2つの異なる機能を持つ。 本稿では,モデルネイティブの潜伏メモリを直感的な先行メモリとして,複数インデックスのエピソードメモリと統合し,正確なエビデンスを再構築するデュアルメモリフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-10-08T16:02:56Z)
• Deployment-Time Memorization in Foundation-Model Agents [18.40535884093806]
  個人化リコール(PR)と適応抽出レート(AER)によるプライバシユーティリティフロンティアとしてのエージェントメモリの検討 キーファクト要約は、ほとんどすべてのパーソナライズリコールを維持しながら、Gemma 3 12Bで76%、GPT-4o-miniで64%のカナリア抽出を減少させる。 LongMemEvalでは、キーファクトの要約はGemma 3 12Bで76%、GPT-4o-miniで64%のカナリア抽出を減らし、ほぼすべてのパーソナライズリコールを保存する。
  論文  参考訳（メタデータ） (2026-06-08T18:38:41Z)
• Augmenting Attention with Exponentially Decaying Memory Improves Query-Aware KV Sparsity [13.471581610990187]
  RAT+は,8つのハイスタックタスクにおいて,スパース予算全体にわたって,標準的注意力よりも常に精度を向上することを示す。 本稿では,このメモリモジュールがクエリ対応スパース推論に有効である理由を説明する2つの仮説を提案する。
  論文  参考訳（メタデータ） (2026-05-27T15:46:19Z)
• ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
  LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。 IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。 当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
  論文  参考訳（メタデータ） (2026-04-09T10:26:32Z)
• Temporal Dependencies in In-Context Learning: The Role of Induction Heads [4.433315630787157]
  入力シーケンス内の繰り返しトークンを即座に追従するトークンにピーク確率を割り当て、シリアルリコールのようなパターンを一貫して表示する。 本研究では,従来のトークン発生にともなうトークンに係わる特殊注意ヘッドである誘導ヘッドが,この現象において重要な役割を担っていることを示す。
  論文  参考訳（メタデータ） (2026-04-01T16:21:38Z)
• Early Detection and Reduction of Memorisation for Domain Adaptation and Instruction Tuning [4.145513103869504]
  我々は、一般的な評価データセット上で1.4B-70BパラメータにまたがるPythia、Llama3、Mistralモデルを微調整する。 最初の数回は暗記が劇的に増加し、しばしば検証の難易度や評価性能が最適化される前に顕著に増加することが判明した。 我々は,n-gram-aware loss regulariserを導入し,最大40%までテストしたモデルファミリー全体の記憶を減少させることを示した。
  論文  参考訳（メタデータ） (2025-10-13T13:12:46Z)
• MemGen: Weaving Generative Latent Memory for Self-Evolving Agents [57.1835920227202]
  本稿では,エージェントに人間的な認知機能を持たせる動的生成記憶フレームワークであるMemGenを提案する。 MemGenは、エージェントが推論を通して潜在記憶をリコールし、増大させ、記憶と認知の密接なサイクルを生み出すことを可能にする。
  論文  参考訳（メタデータ） (2025-09-29T12:33:13Z)
• Induction Head Toxicity Mechanistically Explains Repetition Curse in Large Language Models [24.666925550391024]
  我々は誘導ヘッドを繰り返しの呪いのキードライバーとみなす。 本稿では,誘導ヘッドの世代別優位性を抑えるため,注目頭部規則化手法を提案する。
  論文  参考訳（メタデータ） (2025-05-17T03:09:33Z)
• Untangling tradeoffs between recurrence and self-attention in neural networks [81.30894993852813]
  本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。 長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。 本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-16T19:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。