論文の概要: Head Dimension Matters in Language Models for Long-Context Retrieval

• arxiv url: http://arxiv.org/abs/2610.32213v1
• Date: Fri, 23 Oct 2026 06:08:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.40492
• Title: Head Dimension Matters in Language Models for Long-Context Retrieval
• Title（参考訳）: 長期検索のための言語モデルにおける頭部次元
• Abstract要約: マルチヘッドアテンションは、クエリキーインタラクションと値アグリゲーションを通じてコンテキスト表現を検索し、結合する。 固定パラメータ予算を減らし、より広い頭部に割り当てることが情報検索を改善するかどうかは、まだ不明である。 より広い頭部を持つモデルは、より高い比の検索ヘッドを持ち、より多くのパラメータを検索に関連付けることが判明した。
• 参考スコア（独自算出の注目度）: 4.35316501394574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-head attention retrieves and combines context representations through query--key interactions and value aggregation, with head dimension constraining the per-head representation space. In long-context processing, it remains unclear whether allocating a fixed parameter budget to fewer, wider heads improves information retrieval. In this paper, we investigate how head dimension affects the performance of long-context retrieval tasks. Our empirical studies reveal that pretraining loss and short-context non-retrieval task performance are not affected much by head dimension, while long-context retrieval performance improves with wider heads at fixed model sizes. We find that models with wider heads have a higher proportion of retrieval heads, associating more parameters with retrieval. Our ablation studies also show that the retrieval performance improves with wider heads even when the projection weights in attention modules are frozen during long-context continual pretraining, suggesting that wider heads not only benefit updates in attention modules but lead to more effective adaptation of components such as embeddings and MLPs.
• Abstract（参考訳）: マルチヘッドアテンションは、クエリキーインタラクションと値アグリゲーションを通じてコンテキスト表現を検索し、結合する。 長文処理では、固定パラメータの予算を減らし、より広い頭部に割り当てることが情報検索を改善するかどうかは不明である。 本稿では,長文検索タスクの性能に及ぼす頭部次元の影響について検討する。 実験により,事前学習損失と短文非検索タスク性能は頭部次元に大きく影響されないが,長文検索性能はモデルサイズが一定である場合に,より広い頭部で改善されることがわかった。 より広い頭部を持つモデルは、より高い比の検索ヘッドを持ち、より多くのパラメータを検索に関連付けることが判明した。 アブレーション実験では,長期継続トレーニング中に注意モジュールの投射重みが凍結した場合でも,より広い頭部で検索性能が向上し,注意モジュールの更新だけでなく,埋め込みやMLPなどのコンポーネントのより効果的な適応がもたらされることが示唆された。

関連論文リスト

• Mechanistic Insights into Functional Sparsity in Multimodal LLMs via CoRe Heads [48.341678148905466]
  MLLM(Multimodal Large Language Models)における深い構造的特性を明らかにするための詳細な解釈可能性の研究について述べる。 我々は、コンテキスト認識検索(CoRe)ヘッドと呼ばれる、高度に専門化されたアテンションヘッドのサブセットを特定し、特徴付ける。 本研究は,MLLMにおける機能的疎結合の構造原理を解明し,機械的解釈可能性の現在の理解を解明するものである。
  論文  参考訳（メタデータ） (2026-06-04T08:18:31Z)
• From Interpretability to Performance: Optimizing Retrieval Heads for Long-Context Language Models [19.62954865335739]
  本研究は,LLMの長文処理能力を高めるために,検索ヘッドを活用できるかどうかを検討する。 RetMaskは,通常のモデル出力と,検索ヘッドをマスクした改良版とを対比して学習信号を生成する手法である。 3つのモデルファミリーに対する実験により、有効性は検索ヘッダー組織に依存することが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-16T06:31:08Z)
• SAS: Simulated Attention Score [75.1409882298863]
  我々は,多数の注目ヘッドと1頭あたりの隠れ特徴次元をシミュレートしながら,コンパクトなモデルサイズを維持するSAS(Simulated Attention Score)を導入する。 各種データセットとタスクに関する総合的な実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2025-07-10T12:16:16Z)
• On the token distance modeling ability of higher RoPE attention dimension [76.55792402912027]
  本研究では,注目ヘッドの隠蔽次元と長距離依存の捕捉への寄与との関係について検討する。 我々は、様々な長さ計測モデルから特定の種類の注意ヘッドを同定し、位置頭部と命名した。 これらのヘッドは、長距離情報相互作用に強く焦点を合わせ、長い入力処理において重要な役割を担っている。
  論文  参考訳（メタデータ） (2024-10-11T10:47:02Z)
• Retrieval Head Mechanistically Explains Long-Context Factuality [56.78951509492645]
  我々は,検索ヘッドをダブする特別なタイプの注意ヘッドが,主に情報検索に責任があることを実証した。 本研究は,検索ヘッドが思考の連鎖(CoT)推論に強く影響していることを示し,モデルが質問や以前生成した文脈を頻繁に参照する必要があることを示す。 我々は、幻覚の低減、推論の改善、KVキャッシュの圧縮に関する今後の研究を促進すると信じている。
  論文  参考訳（メタデータ） (2024-04-24T00:24:03Z)
• Low-Rank Bottleneck in Multi-head Attention Models [74.83235382203604]
  現在のアーキテクチャにおけるヘッド数とヘッドサイズの間のスケーリングは、注目ヘッドの低ランクボトルネックを引き起こします。 本稿では,アテンションユニットの頭部サイズを入力シーケンス長に設定し,ヘッド数に依存しないようにすることを提案する。
  論文  参考訳（メタデータ） (2020-02-17T16:16:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。