論文の概要: Mixture of Sparse Attention: Content-Based Learnable Sparse Attention via Expert-Choice Routing
- arxiv url: http://arxiv.org/abs/2505.00315v1
- Date: Thu, 01 May 2025 05:22:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:55.23206
- Title: Mixture of Sparse Attention: Content-Based Learnable Sparse Attention via Expert-Choice Routing
- Title（参考訳）: スパース・アテンションの混合:エキスパート・コース・ルーティングによるコンテンツベース学習可能なスパース・アテンション
- Authors: Piotr Piękos, Róbert Csordás, Jürgen Schmidhuber,
- Abstract要約: 本稿では,Mixture of Sparse Attention (MoSA)について述べる。
MoSAは、各アテンションヘッドのトークンを動的に選択し、任意のスパースアテンションパターンを可能にする。
MoSAは高密度のベースラインを上回り、時には同じ計算予算に対して最大27%のパープレキシティを持つ。
- 参考スコア（独自算出の注目度）: 30.941881811797515
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in large language models highlighted the excessive quadratic cost of self-attention. Despite the significant research efforts, subquadratic attention methods still suffer from inferior performance in practice. We hypothesize that dynamic, learned content-based sparsity can lead to more efficient attention mechanisms. We present Mixture of Sparse Attention (MoSA), a novel approach inspired by Mixture of Experts (MoE) with expert choice routing. MoSA dynamically selects tokens for each attention head, allowing arbitrary sparse attention patterns. By selecting $k$ tokens from a sequence of length $T$, MoSA reduces the computational complexity of each attention head from $O(T^2)$ to $O(k^2 + T)$. This enables using more heads within the same computational budget, allowing higher specialization. We show that among the tested sparse attention variants, MoSA is the only one that can outperform the dense baseline, sometimes with up to 27% better perplexity for an identical compute budget. MoSA can also reduce the resource usage compared to dense self-attention. Despite using torch implementation without an optimized kernel, perplexity-matched MoSA models are simultaneously faster in wall-clock time, require less memory for training, and drastically reduce the size of the KV-cache compared to the dense transformer baselines.
- Abstract（参考訳）: 大規模言語モデルの最近の進歩は、過剰な2次的自己注意のコストを強調した。
重要な研究努力にもかかわらず、四分法的な注意法は実際は劣る性能に悩まされている。
我々は、動的に学習されたコンテンツベースの空間性がより効率的な注意機構をもたらすと仮定する。
本稿では,Mixture of Sparse Attention (MoSA)について述べる。
MoSAは、各アテンションヘッドのトークンを動的に選択し、任意のスパースアテンションパターンを可能にする。
長さ$T$から$k$トークンを選択することで、MoSAは各アテンションヘッドの計算複雑性を$O(T^2)$から$O(k^2 + T)$に減らす。
これにより、同じ計算予算内でより多くのヘッドを使用することができ、より高度な特殊化が可能になる。
テスト対象のスパークアテンションの変種のうち,MoSAが高密度ベースラインより優れているのは唯一であり,同じ計算予算に対して最大27%のパープレキシティを有することが示されている。
MoSAは、密集した自己注意よりもリソース使用量を削減できる。
最適化されたカーネルを使わずにトーチを実装したものの、相似性にマッチしたMoSAモデルはウォールクロック時間で同時に速くなり、トレーニングに必要なメモリも少なくなり、密度の高いトランスフォーマーベースラインに比べてKVキャッシュのサイズを大幅に削減する。
関連論文リスト
- LightThinker: Thinking Step-by-Step Compression [53.8069487638972]
提案するLightThinkerは,大規模言語モデルを用いて推論中の中間的思考を動的に圧縮する手法である。
人間の認知プロセスにインスパイアされたLightThinkerは、思考ステップをコンパクトな表現に圧縮し、元の推論チェーンを捨てる。
実験によると、LightThinkerは競合精度を維持しながら、ピークメモリ使用量と推論時間を短縮する。
論文 参考訳（メタデータ） (2025-02-21T16:57:22Z) - SeerAttention: Learning Intrinsic Sparse Attention in Your LLMs [10.702409298302547]
SeerAttentionは、大規模言語モデル自体からブロックレベルの注意空間を学習する。
Mixture of Experts (MoE)のゲーティング機構にインスパイアされたSeerAttentionは、学習可能なゲートで従来の注意を増進する。
評価の結果,SeerAttention は長文プリフィルの精度向上と低レイテンシ化を実現していることがわかった。
論文 参考訳（メタデータ） (2024-10-17T07:07:09Z) - S2-Attention: Hardware-Aware Context Sharding Among Attention Heads [49.1454481007861]
スパースアテンションは、コンテキスト内のトークンのサブセットに選択的に出席する。
スパース・アテンションが今日の大規模言語モデルでモデルの品質を維持することができるかどうかは不明だ。
本稿では,Sparsely-Sharded(S2) attention, a Triton library that provide kernel optimization for sparse attention for sparse attention to customizable per-head and per-context-range levels。
論文 参考訳（メタデータ） (2024-07-25T00:27:07Z) - MoA: Mixture of Sparse Attention for Automatic Large Language Model Compression [22.038650467915176]
本研究では,異なる頭部と層に異なる注意配置を自動調整するMixture of Attention (MoA)を提案する。
MoAは様々な入力サイズに対応し、いくつかの注意点がより長いシーケンスに対応するように焦点を拡大し、他のヘッドは固定長のローカルコンテキストに一貫して集中することを示した。
論文 参考訳（メタデータ） (2024-06-21T06:58:37Z) - A Training-free Sub-quadratic Cost Transformer Model Serving Framework With Hierarchically Pruned Attention [43.211427581302715]
大規模言語モデルにおける文脈長を増大させるため,HiP(Hierarchically Pruned Attention)を提案する。
HiPは注意機構の時間的複雑さを$O(T log T)$に減らし、空間的複雑さを$O(T)$に減らし、$T$はシーケンス長である。
HiPは, 劣化を最小限に抑えつつ, プリフィルとデコードの両方のレイテンシとメモリ使用率を著しく低減することを示す。
論文 参考訳（メタデータ） (2024-06-14T08:32:45Z) - Unchosen Experts Can Contribute Too: Unleashing MoE Models' Power by Self-Contrast [58.98411447739218]
Mixture-of-Experts (MoE) は、計算効率を保ちながら、モデルサイズをスケールするための顕著なアーキテクチャとして登場した。
本研究では,無声専門家を推論中に自己コントラスト的に活用する学習自由戦略である自己コントラスト混合(SCMoE)を提案する。
我々の手法は概念的には単純で計算量も軽量であり、グリージー復号法に比べて最小限の遅延を発生させる。
論文 参考訳（メタデータ） (2024-05-23T12:45:29Z) - Patch-level Routing in Mixture-of-Experts is Provably Sample-efficient
for Convolutional Neural Networks [74.68583356645276]
ディープラーニングでは、Mixix-of-experts(MoE)が、サンプル単位またはトーケン単位で専門家(サブネットワーク)を活性化する。
我々は,pMoEが適切な一般化を実現するために,必要なトレーニングサンプル数を確実に削減できることを初めて示す。
論文 参考訳（メタデータ） (2023-06-07T00:16:10Z) - Mixture of Attention Heads: Selecting Attention Heads Per Token [40.04159325505842]
Mixture of Attention Heads (MoA)は、マルチヘッドアテンションとMoEメカニズムを組み合わせた新しいアーキテクチャである。
MoAは、標準的なマルチヘッドアテンション層よりも強力なパフォーマンスを実現している。
MoAはまた、ヘッドのユーティリティを自動的に区別し、モデルの解釈可能性について議論するための新しい視点を提供する。
論文 参考訳（メタデータ） (2022-10-11T04:54:05Z) - Masksembles for Uncertainty Estimation [60.400102501013784]
ディープニューラルネットワークは、その強みを巧みに実証しているが、その予測の信頼性を推定することは依然として困難である。
深層アンサンブルは不確かさを推定する最良の方法の1つと考えられているが、訓練や評価は非常に高価である。
mc-dropoutも人気の高い代替品で、安価だが信頼性も低い。
論文 参考訳（メタデータ） (2020-12-15T14:39:57Z) - SMYRF: Efficient Attention using Asymmetric Clustering [103.47647577048782]
本稿では,注目度を近似する新しいタイプのバランスクラスタリングアルゴリズムを提案する。
SMYRFは、再トレーニングすることなく、高密度の注意層をドロップインで置き換えることができる。
SMYRFは,訓練前後の集中的注意と相互に使用できることが示唆された。
論文 参考訳（メタデータ） (2020-10-11T18:49:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。