Fugu-MT 論文翻訳(概要): Certified Sparse Attention via Perturbed Retrieval

論文の概要: Certified Sparse Attention via Perturbed Retrieval

arxiv url: http://arxiv.org/abs/2610.24991v1
Date: Sun, 18 Oct 2026 03:50:13 GMT
ステータス: 情報取得中
システム内更新日: 2026-10-20 22:06:39.780379
Title: Certified Sparse Attention via Perturbed Retrieval
Title（参考訳）: 摂動検索によるスパース注意の認定
Abstract要約: 独立なExp(1)変数による各キーのスコアの摂動は、しきい値の探索を、注意重みに比例する確率でサンプリングキーに変換することを示す。復号ステップごとに新しい摂動が発生すると、各証明書は生成時に最大$$の確率で失敗する。 CPUでは、32K--128Kトークンでのデコードステップが1.1-1.4$times$で実行される。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Sparse attention speeds up long-context decoding by reading few keys of the KV cache, but existing methods do not control the error of a query, and on real KV caches their errors have heavy tails. We show that perturbing the score of every key with an independent Exp(1) variable turns threshold retrieval into sampling keys with probability proportional to their attention weights. Lowering the threshold along a geometric grid gives nested samples, a Horvitz--Thompson estimate of the output at every level, and confidence bounds that hold simultaneously over all levels, so each head stops at the first level whose certificate meets the target error $\varepsilon$. With fresh perturbations at every decoding step, each certificate fails with probability at most $δ$ during generation. At a suitable threshold, the estimator reads $O(\varepsilon^{-2}\log(1/δ))$ values regardless of the context length, and no adaptive method reads fewer, up to constants. A 4-bit scan with deterministic bounds, shared across a grouped-query-attention group, generates the candidates exactly but reads every key. On three LLMs and ten settings at 16K--128K tokens, no certificate is violated, and at equal keys read our 90th-percentile error is 4.6--7.9$\times$ lower than that of the best of 15 baseline families. At equal bytes, the best baselines have 0.6--1.6 times our 90th-percentile error and at least 4.9 times our largest. End to end, our method stays within one point of dense attention on tasks and within 0.1\% in PG-19 perplexity, and the strongest baselines at equal bytes score as well. On CPU, decoding steps at 32K--128K tokens run 1.1--1.4$\times$ faster than dense attention on the same 16-bit cache.
Abstract（参考訳）: スパースアテンションは、KVキャッシュのキーをほとんど読み込まないことで、長いコンテキストのデコーディングを高速化するが、既存のメソッドはクエリのエラーを制御せず、実際のKVキャッシュではエラーが重い。独立なExp(1)変数による各キーのスコアの摂動は、しきい値の探索を、注意重みに比例する確率でサンプリングキーに変換することを示す。幾何格子に沿って閾値を下げると、ネストされたサンプルが与えられ、ホルヴィッツ=トンプソンが全てのレベルで出力を推定し、すべてのレベルに同時に保持する信頼境界が与えられる。復号ステップごとに新しい摂動が発生すると、各証明書は生成時に少なくともδ$の確率で失敗する。適切なしきい値において、推定子はコンテキスト長に関係なく$O(\varepsilon^{-2}\log(1/δ))$値を読み、適応的なメソッドは定数まで読み込まない。グループクエリアテンショングループ間で共有される決定論的境界を持つ4ビットスキャンは、候補を正確に生成するが、すべてのキーを読み取る。 3つのLDMと16K--128Kトークンの10の設定では、証明書に違反はなく、同じキーで90パーセントのエラーを読み取ると、4.6--7.9$\times$15のベースラインファミリーの最高値よりも低い。同じバイトでは、最高のベースラインは、90パーセントのエラーの0.6-1.6倍、最大値の4.9倍である。結局のところ,本手法はタスクへの集中度とPG-19の難易度において0.1\%の範囲内に留まり,最強のベースラインは同等のバイト数である。 CPUでは、32K--128Kトークンでのデコードステップが1.1-1.4$\times$で実行される。

関連論文リスト

Echo: Error-Compensated 4-Bit Tensor-Parallel Communication for LLM Training and Inference [55.13512491286105]
累積誤差を制御するトレーニングと推論のための4ビット全リデューサであるEchoを提案する。 A100 GPUでは、Echoは1GBメッセージで16ビットのNCCLの全リデュースよりも2.09倍高速である。
論文参考訳（メタデータ） (2026-10-09T19:49:55Z)
Read What Matters: Query-Adaptive Quantization for KV Caches [6.942025710859187]
KV-cacheエントリは、将来のクエリが知られる前に格納されるが、それぞれのデコードクエリは、異なる場所で精度を必要とする。我々はこのミスマッチを,クエリ毎に取得した保持ビットとビットに対して,個別の予算を用いて検討する。各クエリに対して、ReadKVはクエリを使用してキーチャネルのプレフィックスを割り当て、再構成されたキーから注意を計算し、そのアテンションを使用してバリュートークンのプレフィックスを割り当てる。
論文参考訳（メタデータ） (2026-10-08T04:47:41Z)
PQ-HSA: Reusing Product-Quantized Scores for Hybrid Sparse-Approximate Attention [31.05085292228752]
PQ-HSAは選択したトークンに元のキーと値で出席する。 Llama-3.1-8BやQwen3-30B-A3BのQuestやSnapKVよりも正確である。
論文参考訳（メタデータ） (2026-09-27T16:47:14Z)
FoldAttention: Declared-Reference Softmax for Fast Decode and Deterministic Backward [0.0]
KVキャッシュをスキャンする前に有限参照$Z_i$を固定するソフトマックスアテンションの付加的な定式化であるFoldAttentionを提案する。 1)最後の重みのゲートキーと値の読み出しをバイトがフェッチされる前に行い、コールごとの深さのT$は2-T$以下で鍵をカットする。 H100$T=16$で、FoldAttentionは7つの実モデル世代 1.36-2.30$times$を最速のBF16ベースラインより高速に、最大3.09$times$高速にデコードする。
論文参考訳（メタデータ） (2026-09-27T09:44:57Z)
Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
論文参考訳（メタデータ） (2026-09-02T10:30:05Z)
AlchemQ: Proof-Carrying Quantum Circuit Optimization with Per-Result Equivalence Certificates [0.0]
本稿では,概念実証システムであるAlchemQ v0.5を紹介する。ビーム検索のフォールバックを,マシンチェック可能な相互認証層とバージョン付き証明書プロトコルに結合する。すべての最適化回路は、素のクレームではなく、検証可能なアーティファクトで出荷される。 100の回路のベンチマークでは、400の最適化はすべてエラーなく終了し、すべての返却回路が認証され、すべての突然変異が検出され、2998テストスイートが2つのプラットフォームに渡される。
論文参考訳（メタデータ） (2026-08-24T10:17:57Z)
MarginGate: Sparse Margin-Triggered Verification for Batch-Invariant LLM Inference [7.261960634383562]
MarginGateはLlama-3.1-8BとQwen2.5-14Bの100%のシーケンスレベルの決定論的デコーディングを18.56%/15.05%で復元する。我々は、フリップトークンにのみ検証を適用することができるかどうかを問う。
論文参考訳（メタデータ） (2026-05-28T16:50:19Z)
Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
論文参考訳（メタデータ） (2025-03-07T08:41:53Z)
Certified Robustness Under Bounded Levenshtein Distance [55.54271307451233]
畳み込み型分類器のリプシッツ定数をレヴェンシュテイン距離に対して計算する最初の方法を提案する。我々の方法であるLipsLevは、それぞれ18.80ドル%と13.93ドル%の精度を1ドルと2ドルで得ることができる。
論文参考訳（メタデータ） (2025-01-23T13:58:53Z)
Vcc: Scaling Transformers to 128K Tokens or More by Prioritizing Important Tokens [65.4435926060951]
本稿では,超長周期の変換器の効率を,各層でより小さな表現に圧縮することで向上することを提案する。我々のアルゴリズムは効率的であるだけでなく(4Kと16Kのベースラインに比べて3倍以上の効率向上を達成する)、多数のタスクで競合/ベターパフォーマンスを提供する。
論文参考訳（メタデータ） (2023-05-07T10:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。