論文の概要: Sparse Attention Is Matrix Approximation, Not Choosing from a Bag of Values

• arxiv url: http://arxiv.org/abs/2610.10871v1
• Date: Wed, 07 Oct 2026 20:17:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.666169
• Title: Sparse Attention Is Matrix Approximation, Not Choosing from a Bag of Values
• Title（参考訳）: Sparse Attention is Matrix Approximation, not Choosing from a Bag of Values
• Abstract要約: スパースアテンションは行列近似として定式化されるべきであり、エントリの袋から最大の値を盲目的に選択するものではない。 この観点から,行列近似スパース注意(MASA)を提案する。 MASAは、生の注目質量ランキングを、各スパースユニットが行列積近似誤差をどれだけ低減するかを測定するクローズドフォームスコアに置き換える。
• 参考スコア（独自算出の注目度）: 12.64564658423115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) achieve strong performance across many domains, but their efficiency is limited by the quadratic cost of attention with respect to prompt length. Sparse attention reduces this cost by retaining only a small fraction of query-key interactions to approximate the full attention matrix. However, existing methods are trapped in a mathematically wrong view: they simply keep large scalar entries or high-mass regions of the attention matrix. This treats the attention matrix as a bag of values, ignoring that it is used as a structured matrix whose entries jointly determine the attention output through multiplication with value vectors. We argue that this is the core conceptual issue: sparse attention should be formulated as matrix approximation, not as blindly choosing the largest values from a bag of entries. Based on this view, we propose Matrix Approximation Sparse Attention (MASA). MASA replaces raw attention-mass ranking with a closed-form score that measures how much each sparse unit reduces matrix-product approximation error. As a theory-grounded plug-in correction, MASA can be added to existing sparse attention frameworks without changing their sparse kernels or budgets. Extensive experiments across multiple sparse attention methods, benchmarks, and LLM backbones show consistent accuracy gains, supporting both MASA and the matrix-approximation view of sparse attention.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多くの領域で高い性能を達成しているが、その効率は、迅速な長さに対する注意の二次的コストによって制限される。 スパース・アテンションは、完全なアテンション行列を近似するために、クエリーキーのインタラクションをわずかに保持することで、このコストを削減する。 しかし、既存の手法は、単に大きなスカラーエントリや注目行列の高質量領域を保持するだけである、数学的に間違った視点に閉じ込められている。 これはアテンション行列を値の袋として扱い、その成分が値ベクトルとの乗算を通じてアテンション出力を共同で決定する構造化行列として使用されることを無視する。 スパースアテンションは行列近似として定式化されるべきであり、エントリの袋から最大の値を盲目的に選ぶほどではない。 この観点から,行列近似スパース注意(MASA)を提案する。 MASAは、生の注目質量ランキングを、各スパースユニットが行列積近似誤差をどれだけ低減するかを測定するクローズドフォームスコアに置き換える。 理論上のプラグイン修正として、MASAはスパースカーネルや予算を変更することなく、既存のスパースアテンションフレームワークに追加することができる。 複数のスパースアテンション手法、ベンチマーク、LCMバックボーンにわたる広範囲な実験は、MASAとスパースアテンションの行列近似の両方をサポートする一貫した精度の向上を示した。

関連論文リスト

• ELSAA: Efficient Low-Rank and Sparse Attention Approximation for Training Transformers [12.266057437036906]
  本稿では,効率のよい低ランクかつスパースな注目度近似であるemphelSAAを提案する。 スパース分岐は選択された高相似性相互作用をキャプチャし、ローランク分岐は拡散グローバル相互作用を要約する。 これにより、フル2次スコア行列を具体化せずに、低ランクでスパースなアテンション出力を構築するための実践的な枠組みが提供される。
  論文  参考訳（メタデータ） (2026-07-22T14:34:49Z)
• Customizing the Inductive Biases of Softmax Attention using Structured Matrices [46.30740502186753]
  注意の中心となるコンポーネントはスコアリング関数で、入力を低次元のクエリとキーに変換する。 BTT(Block-Train)やMLR(Multi-Level Low Rank)など,高いランクを持つ計算効率の高い構造化行列に基づく新たなスコアリング関数を提案する。 MLRに基づくアテンション法は,標準アテンションとスライディングウインドウアテンションの変種に比較して,スケーリング法を改良する。
  論文  参考訳（メタデータ） (2025-09-09T17:50:58Z)
• Spectral Estimation with Free Decompression [47.81955761814048]
  非常に大きな(可逆な)行列のスペクトルを推定する「自由減圧」の新たな手法を提案する。 提案手法は, 極大(非可逆)行列の固有スペクトルを推定するために, 小型サブマトリクスの実験的スペクトル密度から外挿することができる。
  論文  参考訳（メタデータ） (2025-06-13T17:49:25Z)
• Doubly Stochastic Adaptive Neighbors Clustering via the Marcus Mapping [56.57574396804837]
  クラスタリングは機械学習とデータサイエンスにおける基本的なタスクであり、類似性グラフベースのクラスタリングはこの領域において重要なアプローチである。 マーカスマッピングと最適輸送の関係について検討する。 マーカス写像が特定の種類の最適輸送問題を解くことを証明し、マーカス写像によるこの問題の解法が最適輸送法を直接適用するよりも効率的であることを証明した。
  論文  参考訳（メタデータ） (2024-08-06T03:34:43Z)
• SEA: Sparse Linear Attention with Estimated Attention Mask [51.22399593954608]
  長い連続性は、注意操作の二次的な複雑さのために問題を引き起こす。 従来の研究は、注意行列をスパース化または線形に近似することで複雑さを低下させることを目的としていた。 推定アテンションマスクを用いたSparse linear attentionを提案する。
  論文  参考訳（メタデータ） (2023-10-03T03:56:26Z)
• Sparse Factorization of Large Square Matrices [10.94053598642913]
  本稿では,大面積の正方行列とスパースフルランク行列の積を近似する。 近似では、我々の手法は$Ntimes N$ full matrix に対して$N(log N)2$ non-zero number しか必要としない。 近似行列がスパースかつハイランクである場合,本手法により近似精度が向上することを示す。
  論文  参考訳（メタデータ） (2021-09-16T18:42:21Z)
• Combiner: Full Attention Transformer with Sparse Computation Cost [142.10203598824964]
  計算の複雑さを低く保ちつつ、各注目ヘッドにフルアテンション機能を提供するコンバインダを提案する。 既存のスパース変圧器で使用されるスパースアテンションパターンのほとんどは、そのような分解設計をフルアテンションに刺激することができることを示す。 自己回帰的タスクと双方向シーケンスタスクの両方に関する実験的評価は、このアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2021-07-12T22:43:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。