論文の概要: Scaling Parameter and Context in Attention: Native Sparse Attention from Mixture-of-Head

• arxiv url: http://arxiv.org/abs/2609.38832v1
• Date: Wed, 30 Sep 2026 02:53:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.058066
• Title: Scaling Parameter and Context in Attention: Native Sparse Attention from Mixture-of-Head
• Title（参考訳）: 注意のスケーリングパラメータとコンテキスト--Mixture-of-Headからのネイティブスパース注意-
• Abstract要約: 注意パラメータのスケーリングは、言語モデルの品質を改善することができるが、完全なトークン履歴を保持することで、長いコンテキストで追加のオーバーヘッドを発生させることができる。 NAMOHは1トークンあたり$K$$$H$ヘッドを活性化するアーキテクチャネイティブなスパースアテンション機構である。 実験により、NAMOHは、より効率的な長文推論を可能にしながら、同じ全パラメータで完全に活性化されたモデルより優れていることが示された。
• 参考スコア（独自算出の注目度）: 9.765547871370398
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling attention parameters can improve language model quality, but retaining full token histories makes additional heads costly at long contexts. Furthermore, since attention retrieves and combines contextual information, parameter scaling should also support longer contexts. We therefore ask whether attention parameter scaling can directly enable efficient and effective context scaling. We introduce NAMOH, an architecture-native sparse attention mechanism that activates $K$ of $H$ heads per token. Each head retains only its assigned tokens and performs causal attention within this subsequence. Head selection thus jointly determines active parameters and available context without scanning the full history. Under balanced assignments, increasing $H$ at fixed $K$ shortens head histories and reduces per-token key-value (KV) access without increasing total KV storage. We further support head-relative rotary position embeddings to shorten positional spans within routed subsequences, aiming to mitigate position-induced attention noise. Experiments show that NAMOH can outperform fully activated models with the same total parameters, while enabling more efficient long-context inference than smaller dense models with matched active parameter counts. It remains compatible with GQA and existing sparse attention mechanisms. We hope this work offers a new path for scaling attention, with parameter scaling directly enabling context scaling.
• Abstract（参考訳）: 注意パラメータのスケーリングは、言語モデルの品質を改善することができるが、完全なトークン履歴を保持することで、長いコンテキストで追加のオーバーヘッドを発生させることができる。 さらに、アテンションはコンテキスト情報を検索して結合するので、パラメータスケーリングはより長いコンテキストもサポートすべきである。 したがって、注意パラメータのスケーリングが直接的に効率的かつ効果的なコンテキストスケーリングを実現することができるかどうかを問う。 NAMOHは1トークンあたり$K$$$H$ヘッドを活性化するアーキテクチャネイティブなスパースアテンション機構である。 各ヘッドは割り当てられたトークンのみを保持し、このサブシーケンス内で因果注意を行う。 これにより、ヘッドセレクションは、全履歴をスキャンすることなく、アクティブパラメータと利用可能なコンテキストを共同で決定する。 バランスの取れた割り当ての下で、固定された$K$でのH$の増加は、頭の歴史を短くし、トーケンのキー値(KV)アクセスをKVストレージ全体を増やすことなく削減する。 さらに、頭部相対回転位置埋め込みをサポートし、経路付きサブシーケンス内の位置スパンを短くし、位置誘起アテンションノイズを軽減する。 実験により、NAMOHは全パラメータで完全に活性化されたモデルよりも優れ、また、一致したアクティブパラメータ数を持つより小さな高密度モデルよりもより効率的な長コンテキスト推論を可能にした。 GQAと既存のスパースアテンション機構との互換性は保たれている。 この作業が関心を拡大するための新しいパスを提供し、パラメータスケーリングがコンテキストスケーリングを直接可能にしてくれることを願っています。

関連論文リスト

• Beyond Attention Magnitude: Leveraging Inter-layer Rank Consistency for Efficient Vision-Language-Action Models [75.27089289058613]
  textbfTIES(textbfTau-guided textbfInter-layer textbfEfficient textbfSelection)は、層間トークンランキングの整合性によって導かれる動的フレームワークである。 CogACT + SIMPLERベンチマークでは、TIESは平均成功率を6%改善し、トークン使用率を78%削減した。
  論文  参考訳（メタデータ） (2026-03-26T02:13:03Z)
• Knocking-Heads Attention [36.56180929159062]
  マルチヘッドアテンション (MHA) は現代の大規模言語モデルの基盤となっている。 ヘッド数の増加は、本質的に個々のヘッド容量を弱める。 本稿では,注目ヘッド同士の「ノック」を可能にするノックヘッドアテンション(KHA)を提案する。
  論文  参考訳（メタデータ） (2025-10-27T06:28:58Z)
• Causal Attention with Lookahead Keys [52.63961482746826]
  標準的な因果的注意では、各トークンのクエリ、キー、値(QKV)は静的であり、先行するコンテキストのみをエンコードする。 本研究では,Lookahead kEys (CASTLE) を用いたCAuSal aTtentionを導入する。
  論文  参考訳（メタデータ） (2025-09-09T00:15:23Z)
• SAS: Simulated Attention Score [75.1409882298863]
  我々は,多数の注目ヘッドと1頭あたりの隠れ特徴次元をシミュレートしながら,コンパクトなモデルサイズを維持するSAS(Simulated Attention Score)を導入する。 各種データセットとタスクに関する総合的な実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2025-07-10T12:16:16Z)
• ZeroTuning: Unlocking the Initial Token's Power to Enhance Large Language Models Without Training [15.783265191574392]
  我々はZeroTuningを紹介した。ZeroTuningは、初期トークンに頭部特異的な注意調整を適用することで、LCMの性能を向上させる訓練自由な方法である。 このトークンの注意ログに軽量バイアスを加えることで、下流の注意分布のエントロピーを単調に制御できることが理論的に示されている。 検証例を校正する教師ありモードと、モデルの出力エントロピーを直接最小化する教師なしモードの2つのバリエーションを示す。
  論文  参考訳（メタデータ） (2025-05-16T22:52:24Z)
• Activation-aware Probe-Query: Effective Key-Value Retrieval for Long-Context LLMs Inference [56.71209737306054]
  我々は,プローブ-textbfQuery を動的に決定し,関連する textbfKV ペアを推論するために利用する,トレーニングフリーの textbfActivation-aware アプローチである textbfActQKV を提案する。 Long-Bench と $infty$ Benchmarks の実験では、競合する推論品質とリソース効率を備えた最先端のパフォーマンスが実証されている。
  論文  参考訳（メタデータ） (2025-02-19T08:50:44Z)
• Core Context Aware Transformers for Long Context Language Modeling [50.774702091154204]
  高速な長文モデリングのためのCCAアテンションを提案する。 本手法は,学習過程における冗長性を低下させながら,コアコンテキストに自動的に焦点を合わせ,強化する。 提案手法は,既存の大規模言語モデルにおける自己注意モジュールを最小限の微調整コストで置き換えることができる。
  論文  参考訳（メタデータ） (2024-12-17T01:54:08Z)
• SinkLoRA: Enhanced Efficiency and Chat Capabilities for Long-Context Large Language Models [4.497551890206997]
  自己保持機構は、シーケンス長で2次スケールする。 LongLoRAは、コンテキスト拡張を有効に可能にしたスパースアテンション(S(2)-Attn)を提案した。 SinkLoRAは相変わらずバニラの注意ほど効率的ではなく、完全な注意よりも難易度の改善の39%にしか達していない。
  論文  参考訳（メタデータ） (2024-06-09T07:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。