論文の概要: SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking

• arxiv url: http://arxiv.org/abs/2609.13141v1
• Date: Fri, 11 Sep 2026 17:58:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.832021
• Title: SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking
• Title（参考訳）: SAS: コンテキストランクのエンドツーエンド最適化によるシンプルな注意スパシフィケーション
• Abstract要約: トレーニング後の注意分散は、事前訓練されたトランスフォーマーの2次累積注意コストを低減させる。 本稿では,言語モデリングの損失を減らし,文脈ランキングをエンドツーエンドに最適化する,スパース・アテンション・スパシフィケーション・メカニズムであるSimple Attention Sparsification (SAS)を提案する。 SASは、注意予算全体で訓練可能なスパークアテンションベースラインを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 39.77760016762439
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training attention sparsification reduces the quadratic cumulative attention cost of pretrained Transformers by selecting a small set of context units (tokens or blocks) for each query. Existing trainable methods usually use a lightweight selector to score context units, followed by hard Top-K selection that blocks gradients from the language modeling loss. Consequently, these methods commonly distill layer-wise dense attention distributions. Although this encourages the selector to rank context units by dense attention weights in the original model, the ranking is not directly aligned with their impact on predictions under a fixed attention budget (i.e., the number of attended context units per query), potentially wasting the limited budget on less useful units. To address this misalignment, we propose Simple Attention Sparsification (SAS), a gated sparse attention mechanism that optimizes context ranking end-to-end with the language modeling loss. The key idea is to inject the selector's continuous scores into attention logits during training, allowing the loss to update the selector through standard backpropagation. We identify several choices crucial for this simple design to work well in practice: placing the gate inside the attention softmax in log form, using normalized softmax gates to calibrate historical context against the always-retained current block, and preserving continuous selector scores so the model learns relative priorities rather than only hard selections. To support long-sequence training, we implement a memory-efficient Triton kernel that integrates SAS into FlashAttention-style computation. Across reasoning, long-context understanding, and agentic tasks, SAS consistently outperforms trainable sparse attention baselines across attention budgets, with especially large gains under tight budgets, demonstrating more effective context ranking for downstream tasks.
• Abstract（参考訳）: トレーニング後のアテンションスペーシフィケーションにより、クエリ毎に小さなコンテキスト単位(トークンやブロック)を選択することで、事前トレーニングされたトランスフォーマーの2次アテンションコストが削減される。 既存のトレーニング可能なメソッドは通常、軽量セレクタを使用してコンテキスト単位をスコアし、続いて言語モデリング損失からの勾配をブロックするTop-K選択を行う。 したがって、これらの方法は一般的に層状密度の注意分布を蒸留する。 これは、セレクタが元のモデルの重み付けによってコンテキスト単位をランク付けすることを奨励するが、そのランクは固定された注意予算(クエリ毎のコンテクスト単位数)の下での予測への影響と直接一致しないため、あまり役に立たないユニットの限られた予算を浪費する可能性がある。 このミスアライメントに対処するために,言語モデリングの損失を減らし,コンテキストランキングをエンドツーエンドに最適化する,ゲート付きスパースアテンション機構であるSimple Attention Sparsification (SAS)を提案する。 鍵となるアイデアは、トレーニング中にセレクタの連続的なスコアを注意ログに注入し、標準的なバックプロパゲーションを通じてセレクタを更新できるようにすることである。 この単純な設計において重要な選択は,ログ形式に注意ソフトマックス内にゲートを配置すること,正規化されたソフトマックスゲートを用いて常に保持されている現在のブロックに対して歴史的コンテキストを校正すること,連続セレクタスコアを保存すること,モデルがハードセレクションだけでなく相対的な優先順位を学習すること,などである。 長期学習を支援するため,SASをFlashAttentionスタイルの計算に組み込むメモリ効率のよいTritonカーネルを実装した。 推論、長期コンテキスト理解、エージェントタスク全般において、SASは、特に厳しい予算の下で大きな利益を出し、下流タスクのより効果的な文脈ランキングを示す、訓練可能な疎い注意ベースラインを一貫して上回っている。

関連論文リスト

• Sparse Attention for Dense Open-Vocabulary Prediction in CLIP [54.45759517856271]
  最終視覚的自己注意層における行方向のソフトマックスの推測時間置換について検討した。 entmaxは低得点を正確に0にマッピングするデータ依存しきい値を適用するため、暗黙のデノイザとして機能する。 オープン語彙タスクセンスセマンティックセマンティックセグメンテーション (Pascal VOC, Pascal Context, ADE20K) ときめ細かい検索 (FG-OVD) について検討する。
  論文  参考訳（メタデータ） (2026-07-08T08:30:48Z)
• Beyond Attention Magnitude: Leveraging Inter-layer Rank Consistency for Efficient Vision-Language-Action Models [75.27089289058613]
  textbfTIES(textbfTau-guided textbfInter-layer textbfEfficient textbfSelection)は、層間トークンランキングの整合性によって導かれる動的フレームワークである。 CogACT + SIMPLERベンチマークでは、TIESは平均成功率を6%改善し、トークン使用率を78%削減した。
  論文  参考訳（メタデータ） (2026-03-26T02:13:03Z)
• AdaSpot: Spend Resolution Where It Matters for Precise Event Spotting [59.31340724915079]
  イベントスポッティングは、スポーツ分析、ロボティクス、自律システムにおけるアプリケーションにとって重要なタスクである。 bfAdaSpotは厳格な評価基準の下で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-25T16:24:48Z)
• STILL: Selecting Tokens for Intra-Layer Hybrid Attention to Linearize LLMs [23.745366354566315]
  LLM(Linearizing Pretrained Large Language Model)は主に層内ハイブリッドアテンション機構に依存している。 LLMを効率的に線形化するための層内ハイブリッド線形化フレームワークSTILLを提案する。
  論文  参考訳（メタデータ） (2026-02-02T14:49:18Z)
• Long-Context Modeling with Dynamic Hierarchical Sparse Attention for On-Device LLMs [17.499497967319332]
  データ駆動型フレームワークであるDynamic Hierarchical Sparse Attention (DHSA)を導入する。 DHSAは高い注意力と精度を一致させ、プリフィル遅延を20-60%削減し、ピークメモリ使用量を35%削減した。 Needle-in-a-Haystack Test と LongBench を用いたGemma2 実験では,DHSA の精度は高いが,プリフィル遅延は20～60%,ピークメモリ使用量は35%削減された。
  論文  参考訳（メタデータ） (2025-10-28T16:34:18Z)
• DELTA: Dynamic Layer-Aware Token Attention for Efficient Long-Context Reasoning [6.468843780300177]
  モデル精度を犠牲にすることなく計算効率を向上する訓練不要なスパースアテンション機構である textbfDELTA を提案する。 この結果から,中間注意マップの選択的再利用は,より効率的な長文推論への頑健な道を提供することが示された。
  論文  参考訳（メタデータ） (2025-10-10T21:37:49Z)
• ESLM: Risk-Averse Selective Language Modeling for Efficient Pretraining [53.893792844055106]
  大規模言語モデルの事前学習は計算集約的であるが、多くのトークンが学習にわずかに寄与し、非効率になる。 Selective Efficient Language Modelingは、オンライントークンレベルのバッチ選択を行うことで、トレーニング効率と分散ロバスト性を改善するリスク認識アルゴリズムである。 GPT-2プレトレーニング実験の結果、ESLMはベースラインに比べて複雑度と下流性能の両面を維持・改善しながら、トレーニングFLOPを著しく低減することが示された。
  論文  参考訳（メタデータ） (2025-05-26T12:23:26Z)
• Tactic: Adaptive Sparse Attention with Clustering and Distribution Fitting for Long-Context LLMs [10.52833484759311]
  本稿では,空間適応型かつキャリブレーションフリーなスパースアテンション機構であるTacticを提案する。 固定されたトークン予算ではなく、累積的な注意スコアに基づいてトークンを動的に選択する。 我々は、Tacticが既存のスパースアテンションアルゴリズムより優れており、精度が良く、7.29倍のデコードアテンションスピードアップを実現していることを示す。
  論文  参考訳（メタデータ） (2025-02-17T08:39:43Z)
• SeerAttention: Learning Intrinsic Sparse Attention in Your LLMs [10.702409298302547]
  SeerAttentionは、大規模言語モデル自体からブロックレベルの注意空間を学習する。 Mixture of Experts (MoE)のゲーティング機構にインスパイアされたSeerAttentionは、学習可能なゲートで従来の注意を増進する。 評価の結果,SeerAttention は長文プリフィルの精度向上と低レイテンシ化を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-10-17T07:07:09Z)
• Data Selection for Language Models via Importance Resampling [90.9263039747723]
  我々は、望まれるターゲット分布に合わせるために、大規模な未ラベルデータセットのサブセットを選択するという問題を形式化する。 我々は、LMデータ選択のために低次元で使用される古典的な重要度再サンプリング手法を拡張した。 DSIRフレームワークをhash n-gram機能でインスタンス化し、4.5時間で1億のドキュメントを選択できる。
  論文  参考訳（メタデータ） (2023-02-06T23:57:56Z)
• PCPL: Predicate-Correlation Perception Learning for Unbiased Scene Graph Generation [58.98802062945709]
  本稿では,適切な損失重みを適応的に求めるための新しい述語相関知覚学習手法を提案する。 我々のPCPLフレームワークは、文脈特徴をよりよく抽出するグラフエンコーダモジュールも備えています。
  論文  参考訳（メタデータ） (2020-09-02T08:30:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。