論文の概要: Interleaved Head Attention

• arxiv url: http://arxiv.org/abs/2602.21371v1
• Date: Tue, 24 Feb 2026 21:05:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-26 18:19:16.608672
• Title: Interleaved Head Attention
• Title（参考訳）: インターリーブヘッドアテンション
• Authors: Sai Surya Duvvuri, Chanakya Ekbote, Rachit Bansal, Rishabh Tiwari, Devvrit Khatri, David Brandfonbrener, Paul Liang, Inderjit Dhillon, Manzil Zaheer,
• Abstract要約: MHA(Multi-Head Attention)は、現代大規模言語モデル(LLM)の根底にあるコア計算プリミティブである。 IHA(Interleaved Head Attention)を提案する。これは1頭あたり$P$の擬似ヘッドを構成することで、クロスヘッドミキシングを可能にする。 IHAはRULERのマルチキー検索を10-20%改善し(4k-16k)、OpenThoughtsでの推論を微調整した後、GSM8Kを5.8%改善し、MATH-500を2.8%改善した。
• 参考スコア（独自算出の注目度）: 31.858856125562387
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-Head Attention (MHA) is the core computational primitive underlying modern Large Language Models (LLMs). However, MHA suffers from a fundamental linear scaling limitation: $H$ attention heads produce exactly $H$ independent attention matrices, with no communication between heads during attention computation. This becomes problematic for multi-step reasoning, where correct answers depend on aggregating evidence from multiple parts of the context and composing latent token-to-token relations over a chain of intermediate inferences. To address this, we propose Interleaved Head Attention (IHA), which enables cross-head mixing by constructing $P$ pseudo-heads per head (typically $P=H$), where each pseudo query/key/value is a learned linear combination of all $H$ original queries, keys and values respectively. Interactions between pseudo-query and pseudo-key heads induce up to $P^2$ attention patterns per head with modest parameter overhead $\mathcal{O}(H^2P)$. We provide theory showing improved efficiency in terms of number of parameters on the synthetic Polynomial task (IHA uses $Θ(\sqrt{k}n^2)$ parameters vs. $Θ(kn^2)$ for MHA) and on the synthetic order-sensitive CPM-3 task (IHA uses $\lceil\sqrt{N_{\max}}\rceil$ heads vs. $N_{\max}$ for MHA). On real-world benchmarks, IHA improves Multi-Key retrieval on RULER by 10-20% (4k-16k) and, after fine-tuning for reasoning on OpenThoughts, improves GSM8K by 5.8% and MATH-500 by 2.8% (Majority Vote) over full attention.
• Abstract（参考訳）: MHA (Multi-Head Attention) は、現代のLarge Language Models (LLMs) の基礎となる計算プリミティブである。 しかし、MHAは基本的な線形スケーリングの制限に悩まされている:$H$アテンションヘッドは正確に$H$独立アテンション行列を生成し、アテンション計算中にヘッド間の通信を行わない。 これは多段階の推論において問題となり、正しい答えは文脈の複数の部分からの証拠を集約し、中間推論の連鎖に対して潜在トークン間関係を構成する。 この問題を解決するために、IHA(Interleaved Head Attention)を提案する。これは、頭当たり$P$の擬似ヘッド(通常、$P=H$)を構築し、各擬似クエリ/キー/値が、それぞれ$H$のオリジナルクエリ、キー、値の学習線形結合である、クロスヘッドミキシングを可能にする。 擬似クエリと擬似キーヘッドの相互作用は、モデストパラメータオーバーヘッド$\mathcal{O}(H^2P)$で1ヘッドあたり$P^2$の注意パターンを誘導する。 我々は、合成多項式タスクのパラメータ数(IHAは$sqrt{k}n^2)$パラメータ対$sqrt{k}n^2)$パラメータ対$s(kn^2)$ for MHA)および合成順序に敏感なCPM-3タスク(IHAは$\lceil\sqrt{N_{\max}}\rceil$ヘッド対$N_{\max}$ MHA)のパラメータ数に関して改善された効率を示す理論を提供する。 実世界のベンチマークでは、IHAはRULER上のマルチキー検索を10-20%改善し(4k-16k)、OpenThoughtsでの推論を微調整した後、GSM8Kを5.8%改善し、MATH-500を2.8%改善した(Majority Vote)。

関連論文リスト

• On the Capacity of Self-Attention [0.2538209532048867]
  本稿では,自己保持能力に関するキャパシティに基づくスケーリング法を提案する。 D_K$は、広いグラフのクラスにおいて、$m'$関係を回復するのに必要かつ十分であることを示す。 また、固定されたD_K$を多数の小さな頭部に割り当てることで干渉を緩和することを示した。
  論文  参考訳（メタデータ） (2025-09-26T18:47:35Z)
• Upper and Lower Bounds for Distributionally Robust Off-Dynamics Reinforcement Learning [6.236688509180343]
  政策訓練と展開環境が異なるオフダイナミックス強化学習(RL)について検討する。 We-DRIVE-Uは,平均的最適値$widetildemathcalObig(d H cdot min 1/rho, H/sqrtK big)$を満足するアルゴリズムを提案する。 また、新しいハードインスタンスを構築し、この設定で最初の情報理論の下界を導出する。
  論文  参考訳（メタデータ） (2024-09-30T17:21:15Z)
• Provably Efficient Reinforcement Learning with Multinomial Logit Function Approximation [67.8414514524356]
  本稿では,MNL関数近似を用いたMDPの新たなクラスについて検討し,状態空間上の確率分布の正当性を保証する。 その大きな利点にもかかわらず、非線形関数を組み込むことは、統計的および計算効率の両方において重大な課題を提起する。 我々は,$widetildemathcalO(dH2sqrtK + kappa-1d2H2)$を後悔するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-27T11:31:54Z)
• Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
  線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。 我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T15:03:50Z)
• Recasting Self-Attention with Holographic Reduced Representations [31.89878931813593]
  マルウェア検出の問題に触発された我々は,ホログラフィックリダクション(HRR)のニューロシンボリックアプローチを用いて,自己アテンションを再キャストする。 我々は、 $mathcalO(T H log H)$ time complexity, $mathcalO(T H)$ space complexity, and convergence in 10times$ less epochs などの利点を得る。 我々のHrrformerはLRAベンチマークでほぼ最先端の精度を実現しています。
  論文  参考訳（メタデータ） (2023-05-31T03:42:38Z)
• Provably Efficient Reinforcement Learning via Surprise Bound [66.15308700413814]
  本稿では,一般値関数近似を用いた効率の良い強化学習アルゴリズムを提案する。 本アルゴリズムは, 線形設定と疎高次元線形設定の両方に適用した場合に, 合理的な後悔境界を達成できる。
  論文  参考訳（メタデータ） (2023-02-22T20:21:25Z)
• Nearly Minimax Optimal Reinforcement Learning for Linear Mixture Markov Decision Processes [91.38793800392108]
  本稿では,マルコフ決定過程(MDP)の遷移確率核が線形混合モデルである線形関数近似による強化学習について検討する。 上記の線形混合 MDP に対して$textUCRL-VTR+$ という線形関数近似を用いた計算効率の良い新しいアルゴリズムを提案する。 我々の知る限り、これらは線形関数近似を持つRLのための計算効率が良く、ほぼ最小のアルゴリズムである。
  論文  参考訳（メタデータ） (2020-12-15T18:56:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。