論文の概要: OpenAttention: One Percent Is Enough with Tail Proxies

• arxiv url: http://arxiv.org/abs/2610.30951v3
• Date: Thu, 29 Oct 2026 07:29:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-30 22:39:27.47052
• Title: OpenAttention: One Percent Is Enough with Tail Proxies
• Title（参考訳）: OpenAttention: 1パーセントはTailプロキシで十分
• Abstract要約: 最小限の可能なプロキシ、すなわちテール全体をカウントアウェア平均に折り畳むトークンは、実用的なセレクタの背後にあるすべての読み取りにおいて、サンプルよりも出力エラーが低いことを示す。 クラスタリング,ErrorGate,トップk選択のパイプラインであるOpenAttentionを提案する。
• 参考スコア（独自算出の注目度）: 18.761579421007912
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse attention reads only a small subset of the key-value cache, and how to treat the unread tail remains a key challenge. Discarding the tail biases the output, and sampling it as previous approaches do fails at reads of 5% and below, where the tail likely holds heavy hitters the selector missed. Our key observation is that the simplest possible proxy, one token that folds the entire tail into its count-aware mean, already yields lower output error than a sample at every read behind a practical selector. We further show in closed form that at low reads sampling nearly doubles the weight error of discarding while a single proxy stays below it. Building on these findings, we explore approximating the dense attention distribution with a few proxies that target the tail. We propose OpenAttention, a pipeline of clustering, ErrorGate and top-k selection followed by a count-aware mean proxy. To implement clustering and selection both efficiently and effectively, we design training-free Query-Geometry Clustering (QGC) and a Query-Geometry Selector (QGS), which compress the keys while respecting the query directions. Additionally, unlike prior methods that rank clusters by centroid alone, ErrorGate allocates the exact read by the estimated weight error of each cluster. On RULER-32K HARD with Llama-3.1-8B, OpenAttention retains 99% of dense accuracy at a 1% read. It also achieves state-of-the-art accuracy across models, context lengths and datasets. Our customized attention kernel for OpenAttention runs the decode attention stage 10$\times$ faster than dense attention at a 1% read.
• Abstract（参考訳）: スパースアテンションはキーバリューキャッシュの小さなサブセットのみを読み、アンリードテールの扱いは依然として重要な課題である。 テールが出力に偏りを生じさせ、前回のアプローチでは5%以下で読み取りに失敗し、テールはセレクタが見逃した重いヒットターを保持する可能性が高い。 私たちのキーとなる観察は、最も単純な可能なプロキシである、すべてのテールをカウントアウェア平均に折り畳むトークンは、実用的なセレクタの背後にあるすべての読み取りにおいて、サンプルよりも出力エラーが小さいということです。 さらに、低い読み込みでサンプリングすると、単一のプロキシがその下に留まっている間、破棄の重みエラーがほぼ2倍になる、というクローズドな形で示します。 これらの知見に基づいて,尾部を標的とするいくつかのプロキシを用いて,高密度の注意分布の近似について検討した。 クラスタリング,ErrorGate,トップk選択のパイプラインであるOpenAttentionを提案する。 クラスタリングと選択を効率的かつ効果的に行うために,クエリ・ジオメトリ・クラスタリング(QGC)とクエリ・ジオメトリ・セレクタ(QGS)を設計し,クエリの方向を尊重しながらキーを圧縮する。 さらに、Centroid単独でクラスタをランク付けする以前の方法とは異なり、ErrorGateは各クラスタの推定重み誤差によって正確な読み出しを割り当てる。 Llama-3.1-8BのRULER-32K HARDでは、OpenAttentionは1%の読み取りで99%の精度を維持している。 また、モデル、コンテキスト長、データセット間で最先端の精度を達成する。 OpenAttention用にカスタマイズされたアテンションカーネルは、Decodeアテンションステージを10$\times$で実行し、1%のリードで集中アテンションよりも高速です。

関連論文リスト

• ClusterAttention: A training-free speedup of bidirectional attention [0.0]
  ClusterAttentionは、双方向のアテンションレイヤのトレーニング不要なスピードアップである。 大規模データでは、ClusterAttentionはTabPFN-3 arXiv:2605.13986を2倍から6倍高速化する。
  論文  参考訳（メタデータ） (2026-08-27T11:04:41Z)
• COBS: Cumulant Order Block Sparse Attention [37.17519877899648]
  注意をブロックすることは、大規模言語モデル(LLM)におけるキー値キャッシュリードボトルネックを軽減するハードウェアフレンドリーな方法である。 我々は、DeepSeekのNative Sparse Attention(NSA)を代表的手法として研究し、その3分岐設計によりブロック選択を分離できる。 選択が最大の注目質量を持つブロックを取り出すと、ブロックのスパース・アテンションは密集したアテンションの質と一致することが示される。
  論文  参考訳（メタデータ） (2026-07-10T02:48:43Z)
• Near-Oracle KV Selection via Pre-hoc Sparsity for Long-Context Inference [54.467557491325046]
  本稿では,注意スコアの前にKVエントリを選択し,明示的な精度制御を行うプリホックスパシティ(PrHS)を提案する。 PrHSは検索オーバーヘッドを90%以上削減し、HShareよりも3倍高い精度で検索できる。 これはLongBenchの平均劣化率を1%以下に抑え、FLOPを約15%減らし、9.9倍のレイテンシと2.8倍のスループットを得る。
  論文  参考訳（メタデータ） (2026-02-09T07:05:23Z)
• Bridged Clustering for Representation Learning: Semi-Supervised Sparse Bridging [7.631238459202664]
  我々はBridged Clusteringを紹介した。Bridged Clusteringは、未実装の入力$X$と出力$Y$データセットから予測子を学習する半教師付きフレームワークである。 我々のメソッドはまず最初に$X$と$Y$を独立にクラスタし、その後、わずかにペア化された例を使ってクラスタ間のスパースで解釈可能なブリッジを学習する。
  論文  参考訳（メタデータ） (2025-10-08T16:20:49Z)
• vAttention: Verified Sparse Attention [100.98210818821688]
  vAttentionは、ユーザが指定した$(epsilon, delta)$の近似精度保証(thus, confirmed)を備えた実用的なスパースアテンションメカニズムである。 vAttentionはデータセット間のスパースアテンションの質を大幅に改善することを示す。 モデルの品質を損なうことなく高速なデコードを実現するために、推論シナリオにデプロイすることができる。
  論文  参考訳（メタデータ） (2025-10-07T08:46:08Z)
• Hard Regularization to Prevent Deep Online Clustering Collapse without Data Augmentation [65.268245109828]
  オンラインディープクラスタリング(オンラインディープクラスタリング)とは、機能抽出ネットワークとクラスタリングモデルを組み合わせて、クラスタラベルを処理された各新しいデータポイントまたはバッチに割り当てることである。 オフラインメソッドよりも高速で汎用性が高いが、オンラインクラスタリングは、エンコーダがすべての入力を同じポイントにマッピングし、すべてを単一のクラスタに配置する、崩壊したソリューションに容易に到達することができる。 本稿では,データ拡張を必要としない手法を提案する。
  論文  参考訳（メタデータ） (2023-03-29T08:23:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。