論文の概要: Uncertainty-gated selection for block-sparse attention
- arxiv url: http://arxiv.org/abs/2607.07724v1
- Date: Sat, 04 Jul 2026 20:41:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.278122
- Title: Uncertainty-gated selection for block-sparse attention
- Title（参考訳）: ブロックスパース注意のための不確かさ-ゲート選択
- Abstract要約: ブロックスパースアテンション(Block-sparse attention)は、O(N2)ソフトマックスをキーブロック上のクエリごとのトップk選択に置き換えることで、長いコンテキスト言語モデルをスケールする。
本稿では,各クエリに対して,トップkカットがいかに決定的に行われたかを測定する,情報量ルータを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Block-sparse attention scales long-context language models by replacing the O(N^2) softmax with a per-query top-k selection over key blocks. This cutoff is myopic: when the k-th and (k+1)-th blocks are nearly tied in score, the selector commits without spending extra budget, and a dropped block carrying answer evidence is unrecoverable downstream. We propose a value-of-information router that measures, for each query, how decisively the top-k cut was made, and doubles the kept set for the queries where that gap is smallest; the rule is backbone-agnostic and stacks with existing block-scoring methods such as Quest. On LongBench-v2 medium at n=215 (the entire dataset subset), router-on-Quest reaches paired recall 0.75 vs. top-k 0.47 -- +28 pp over the SSA-style baseline (McNemar p<0.01) -- and lands within 2 pp of dense on RULER NIAH multikey at the same context. The lift reproduces on four models from three architectures (Qwen2.5, Mistral-Nemo, Qwen3.6). At 128K, the router preserves 0.81 and 0.89 of dense accuracy on Qwen2.5-7B-1M and Qwen3.6 (vs. SSA-style top-k at 0.09 on the former) while the fused selection-plus-kernel pipeline runs at 0.62x and 0.80x dense wall time.
- Abstract（参考訳）: ブロックスパースアテンション(Block-sparse attention)は、O(N^2)ソフトマックスをキーブロック上のクエリごとのトップk選択に置き換えることで、長いコンテキスト言語モデルをスケールする。
このカットオフは、k番目のブロックと(k+1)番目のブロックがほぼスコアで結びついているとき、セレクタは余分な予算を使わずにコミットし、答えのエビデンスを持つドロップブロックは下流では発見できない。
本稿では,各クエリに対して,トップkカットがいかに決定的に行われたかを測定し,そのギャップが最小であるクエリに対して保持されたセットを2倍にする。
n=215(全データセットサブセット)のLongBench-v2媒体では、ルータオンクエストは、SSAスタイルのベースライン (McNemar p<0.01) 上のペアリコール 0.75対トップk 0.47 -- +28pp に達し、同じ文脈でRULER NIAHマルチキーに2pp以内の密度で着陸する。
リフトは3つのアーキテクチャ(Qwen2.5、Mistral-Nemo、Qwen3.6)から4つのモデルで再現される。
128Kでは、Qwen2.5-7B-1MとQwen3.6(前者はSSAスタイルのトップk、前者は0.09)で0.81と0.89の精度を保ち、融合した選択+カーネルパイプラインは0.62xと0.80xの高密度の壁時間で動作する。
関連論文リスト
- VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention [47.30761996669105]
トレーニング不要な低ビットアテンションフレームワークであるVC-Attentionを提案する。
V-Smoothは、オンラインの軽量クラスタリングによってバリュートークンを再注文するので、融合ハードウェアブロック内のトークンは、共に量子化される。
ログドメインのスコアを直接E4M3確率符号に1つの融合乗算加算でマッピングし、FP32指数関数とフォーマット変換を排除した。
論文 参考訳（メタデータ） (2026-09-14T16:17:35Z) - PARSER: Read in Parallel, Reason in Depth for Long-Context LLM Agents [85.82624962221026]
本稿では、読みを推論から切り離すPARSERを紹介する。
単一のチャンクにバインドされた軽量サブエージェントのバンクは、ドキュメント全体を並列に読み取る。
7Kから896Kまでのコンテキストを持つマルチホップQAでは、4Bバックボーンを持つPARSERが最強のシーケンシャルメモリベースラインを上回っている。
論文 参考訳（メタデータ） (2026-09-06T16:19:01Z) - XMerge: Cross-Axis Selection and Reconstructive Layer Merging for LLM Depth Compression [0.0]
交叉軸選択は、相対マグニチュードの低いブロックと角状隠れ状態の変化を識別する。
局所的な境界再構成は、元の2ブロック出力と一致するように、隣接した生存ブロックに適合する。
XMergeはタスクラベルやエンドツーエンドの微調整は使用しない。
論文 参考訳（メタデータ） (2026-09-02T04:12:44Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - BF1: A Causal Dyadic Sparse-Attention Retrofit for Efficient Long-Context Transformers [0.0]
本研究では,小面積の局所的近傍,大域的な第1ブロック,および対数的に空間化された歴史的ブロックを結合したブロックアライン・ダイアルド・スパース・アテンション経路について検討する。
最適化されたBF16の実装は、2Kトークンと4Kトークンの間で高い注意を払い、32Kで1層あたり10.91倍のプリフィルスピードアップに達する。
本稿では,数値的正当性,選択相互作用スケーリング,カーネル性能,部分モデル言語モデリング,および一致した次世代言語モデリングについて検討する。
論文 参考訳（メタデータ） (2026-08-19T18:35:12Z) - Mergeable Model-Side Aggregation States for Long-Context Language Models [6.1170189512684345]
長いコンテキスト言語モデルの制限として、コンテキスト長が増加するにつれて、非付加的、セットベースアグリゲーションにおける信頼できないパフォーマンスが知られている。
本稿では,HashベースのHyperLogLog(HLL)スケッチ状態を凍結言語モデルとともに保持するモデル側アグリゲーションインタフェースを提案する。
論文 参考訳（メタデータ） (2026-07-29T03:56:12Z) - COBS: Cumulant Order Block Sparse Attention [37.17519877899648]
注意をブロックすることは、大規模言語モデル(LLM)におけるキー値キャッシュリードボトルネックを軽減するハードウェアフレンドリーな方法である。
我々は、DeepSeekのNative Sparse Attention(NSA)を代表的手法として研究し、その3分岐設計によりブロック選択を分離できる。
選択が最大の注目質量を持つブロックを取り出すと、ブロックのスパース・アテンションは密集したアテンションの質と一致することが示される。
論文 参考訳（メタデータ） (2026-07-10T02:48:43Z) - Variable Bit-width Quantization: Learning Per-Group Precision for "Bigger-but-Smaller" Language Models [0.0]
可変ビット幅量子化(VBQ)を導入する。
64重みの連続した群が1,2,4,8ビットから独自の分解能を学習する訓練時間法である。
バイト単位の品質では、VBQはFP16よりも3.9-8.4倍効率が高い。
論文 参考訳（メタデータ） (2026-07-03T02:42:04Z) - RoPE-Aware Bit Allocation for KV-Cache Quantization [52.099459337231345]
Block-GTQはTurboQuant-MSE上に構築されたキーキャッシュ量子化のためのビットアロケータである。
これは、RoPEクエリキーのロジットを10モデル診断パネルに保存する。
128Kコンテキストでfp16 FlashAttention2より1.34倍高速で動作する。
論文 参考訳（メタデータ） (2026-06-23T00:17:48Z) - Soft-NBCE: Entropy-Weighted Chunk Fusion for Long-Context [13.19850137760249]
離散チャンク選択をソフトエントロピー重み付きチャンク融合に置き換える軽量拡張であるSoft-NBCEを提案する。
また,LORAに基づく自己蒸留システムであるConsistency Distillationを提案する。
論文 参考訳（メタデータ） (2026-05-31T08:43:47Z) - MoE-nD: Per-Layer Mixture-of-Experts Routing for Multi-Axis KV Cache Compression [7.208745673318648]
既存の圧縮法は、それぞれ4次元KVテンソルの1軸に作用する。
それぞれの圧縮操作に対して異なる層が非常に異なる応答を示す。
そこで我々は,各レイヤを個別にルーティングするMix-of-expertsフレームワークであるMoE-nDを提案する。
論文 参考訳（メタデータ） (2026-04-20T01:20:26Z) - Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。
d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。
因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
論文 参考訳（メタデータ） (2026-03-23T17:57:24Z) - Chronicals: A High-Performance Framework for LLM Fine-Tuning with 3.51x Speedup over Unsloth [0.0]
Unsloth上で3.5倍のスピードアップを実現したオープンソースのトレーニングフレームワークであるCentralsを紹介します。
オンラインのソフトマックスの正しさ、FlashAttention IO complexity O(N2 d2 M-1)、LoRA+学習速度勾配近似など、完全な数学的基礎を提供する。
論文 参考訳（メタデータ） (2026-01-06T00:00:55Z) - R1-Compress: Long Chain-of-Thought Compression via Chunk Compression and Search [61.4807238517108]
CoT(Chain-of-Thought)推論は、ステップバイステップの問題解決を可能にすることで、大きな言語モデル(LLM)を強化する。
CoTのLong-CoTへの拡張はトークン長の増加による計算オーバーヘッドを大幅に増加させる。
ローカル情報とコヒーレンスの両方を保存する2段階のチャンクレベル圧縮フレームワークであるR1-Compressを提案する。
論文 参考訳（メタデータ） (2025-05-22T16:06:59Z) - Towards Effective and Efficient Non-autoregressive Decoding Using Block-based Attention Mask [74.64216073678617]
AMDはアテンションマスクを用いて隠された出力ラベルの連続ブロック内で並列NAR推論を行う。
ビームサーチアルゴリズムは、CTC、ARデコーダ、AMD確率の動的融合を利用するように設計されている。
LibriSpeech-100hrコーパスの実験では、AMDモジュールを組み込んだトリパルタイトデコーダが最大1.73倍のデコード速度比を生み出すことを示唆している。
論文 参考訳（メタデータ） (2024-06-14T13:42:38Z) - 1$\times$N Block Pattern for Network Sparsity [90.43191747596491]
我々は,この制限を破るために,ブロック間隔パターン(ブロックプルーニング)を1時間で定義する新しい概念を提案する。
このパターンはMobileNet-V2の上位1の精度でフィルタプルーニングよりも約3.0%改善されている。
また、重み付けによるCortex-A7 CPUの56.04msの推論も得る。
論文 参考訳（メタデータ） (2021-05-31T05:50:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。