Fugu-MT 論文翻訳(概要): Autonomy-of-Heads: Data-Free Sparse Attention from Frozen Query-Key Geometry

論文の概要: Autonomy-of-Heads: Data-Free Sparse Attention from Frozen Query-Key Geometry

arxiv url: http://arxiv.org/abs/2608.06849v1
Date: Fri, 07 Aug 2026 06:18:18 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-10 16:21:25.376968
Title: Autonomy-of-Heads: Data-Free Sparse Attention from Frozen Query-Key Geometry
Title（参考訳）: セルフノミー・オブ・ヘッド:凍結クエリキー幾何によるデータフリースパース注意
Abstract要約: 既存のスパースアテンションとKV圧縮手法は、実行時のアテンションスコア、観察窓、校正プロンプト、学習ゲートからどのトークンやヘッドを保存するかを決定する。本稿では,クエリキー投影のスペクトル幾何学から検索およびストリーミングヘッドを識別するデータフリー手法であるAutonomy-of-Heads (AoH)を提案する。 AoHは平均96.5%のフルアテンション性能を維持し、プリフィルとデコード遅延をそれぞれ41.4%、66.0%、KVキャッシュメモリを256Kトークンで50.0%削減している。
参考スコア（独自算出の注目度）: 16.02531985377696
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Long-context LLM inference is bottlenecked by quadratic attention computation and growing KV-cache costs. Existing sparse attention and KV-compression methods typically decide which tokens or heads to preserve from runtime attention scores, observation windows, calibration prompts, or learned gates, making head diagnosis input-dependent and costly to deploy. We propose Autonomy-of-Heads (AoH), a data-free method that identifies retrieval and streaming heads from the spectral geometry of query-key projections. AoH defines the kernel attention operator $M_h = W_K^{h\top}W_Q^h$ and uses its effective-rank as a weight-space measure of head function: concentrated spectra indicate a small number of dominant query-key matching directions and are associated with retrieval heads, whereas diffuse spectra indicate the absence of a dominant global matching direction and are associated with streaming heads. We further derive an efficient $d_\text{head}$-dimensional computation that avoids constructing the full $d_\text{model}\times d_\text{model}$ matrix. We conducted extensive experiments across models demonstrating that at 50\% sparsity, AoH retains 96.5\% of Full Attention performance on average while reducing prefill and decode latency by up to 41.4\% and 66.0\%, respectively, and KV-cache memory by 50.0\% at 256K tokens.
Abstract（参考訳）: 長文LLM推論は、2次注意計算とKVキャッシュコストの増大によってボトルネックとなる。既存のスパースアテンションとKV圧縮法は、通常、どのトークンまたはヘッドをランタイムアテンションスコア、観察窓、校正プロンプト、学習ゲートから保存するかを決め、ヘッド診断を入力に依存し、デプロイするのにコストがかかる。本稿では,クエリキー投影のスペクトル幾何学から検索およびストリーミングヘッドを識別するデータフリー手法であるAutonomy-of-Heads (AoH)を提案する。 AoH はカーネルアテンション演算子 $M_h = W_K^{h\top}W_Q^h$ を定義し、その有効ランクをヘッド関数の重み空間測度として用いる:集中スペクトルは、少数の支配的なクエリキーマッチング方向を示し、検索ヘッドと関連している。さらに、完全な$d_\text{model}\times d_\text{model}$ matrixを構成するのを避ける効率的な$d_\text{head}$-dimensional計算を導出する。我々は50\%の間隔で、AoHは平均96.5\%のフルアテンション性能を維持し、プリフィルとデコード遅延を最大41.4\%、66.0\%、KV-cacheメモリを256Kトークンで50.0\%削減することを示した。

関連論文リスト

CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
論文参考訳（メタデータ） (2026-08-31T06:02:37Z)
From Rigid to Dynamic: Entropy-Guided Adaptive Inference for Long-Context LLMs [18.375108449567172]
EntropyInferは、注意エントロピーを使用して、プリフィル中に個々の頭とセグメントの粒度で計算を適応的に割り当てる、トレーニング不要のフレームワークである。 Llama、Qwen、openPanguモデルシリーズの実験では、EntropyInferはKV Snap、AdaKV、CritiPrefillといったベースラインを一貫して上回っている。
論文参考訳（メタデータ） (2026-06-08T14:02:18Z)
Latent-Condensed Transformer for Efficient Long Context Modeling [60.72493959155964]
大規模言語モデルに対するLCA(Latent-Condensed Attention)を提案する。 LCAはMLAの潜伏空間内のコンテキストを凝縮し、表現はセマンティック潜伏ベクトルと位置キーに切り離される。 LCAは、最大2.5$times$プリフィルスピードアップと128Kコンテキストでの90%のKVキャッシュ削減を実現している。
論文参考訳（メタデータ） (2026-04-14T08:40:31Z)
Spectral Tempering for Embedding Compression in Dense Passage Retrieval [17.660889990235656]
最適スケーリング強度$$はグローバル定数ではないことを示す。本研究では,適応的な$(k)$をコーパス固有スペクトルから直接導出する学習自由化手法であるSpectral Temperingを提案する。
論文参考訳（メタデータ） (2026-03-19T10:01:32Z)
Near-Oracle KV Selection via Pre-hoc Sparsity for Long-Context Inference [54.467557491325046]
本稿では,注意スコアの前にKVエントリを選択し,明示的な精度制御を行うプリホックスパシティ(PrHS)を提案する。 PrHSは検索オーバーヘッドを90%以上削減し、HShareよりも3倍高い精度で検索できる。これはLongBenchの平均劣化率を1%以下に抑え、FLOPを約15%減らし、9.9倍のレイテンシと2.8倍のスループットを得る。
論文参考訳（メタデータ） (2026-02-09T07:05:23Z)
ProxyAttn: Guided Sparse Attention via Representative Heads [59.03412871683236]
より正確なブロック推定を実現する訓練不要なスパースアテンションアルゴリズムであるProxyAttnを提案する。本稿では,ProxyAttnが最大10.3倍の注意加速度と2.4倍の事前充足加速度を実現できることを示す。
論文参考訳（メタデータ） (2025-09-29T13:10:39Z)
Uncertainty-Aware Attention Heads: Efficient Unsupervised Uncertainty Quantification for LLMs [129.79394562739705]
大型言語モデル(LLM)は、顕著な流布を示すが、しばしば「幻覚」として知られる致命的な誤りを引き起こす。本稿では,非教師的アプローチであるRAUQ(Recurrent Attention-based Uncertainty Quantification)を提案する。 4つのLLMと12の質問応答、要約、翻訳タスクにわたる実験は、RAUQが優れた結果をもたらすことを示した。
論文参考訳（メタデータ） (2025-05-26T14:28:37Z)
Delta Attention: Fast and Accurate Sparse Attention Inference by Delta Correction [52.14200610448542]
変圧器は二次的な複雑さを持ち、長いシーケンスに対して高い推論コストとレイテンシをもたらす。本稿では、この分布シフトを修正するためのシンプルで斬新で効果的な手順を提案する。 1Mトークンのプリフィル処理では,Flash Attention 2の32倍の速度で,約98.5%の間隔を維持することができる。
論文参考訳（メタデータ） (2025-05-16T13:48:33Z)
Task-KV: Task-aware KV Cache Optimization via Semantic Differentiation of Attention Heads [4.797407445026818]
KVキャッシュは、大規模言語モデル(LLM)の推論に広く使われている手法である。これまでの研究では、すべての注意頭に対して同じ数の重要でないトークンを除去するか、または事前に特定された注意頭に対して区別されたKVキャッシュ予算を割り当てることによって、KVキャッシュのサイズを縮小してきた。本稿では,様々なタスクに分散KVキャッシュ予算を割り当てるために,アテンションヘッドのセマンティックな分化を利用するTask-KVを提案する。
論文参考訳（メタデータ） (2025-01-25T07:28:13Z)
MagicPIG: LSH Sampling for Efficient LLM Generation [41.75038064509643]
以上の結果から,TopKの注意力自体が特定の下流タスクの品質低下に悩まされていることが分かる。局所感性ハッシュ(LSH)に基づく異種システムMagicPIGを提案する。 MagicPIGは、さまざまなタスクに対して高い精度を維持しながら、注意の負荷を大幅に削減する。
論文参考訳（メタデータ） (2024-10-21T16:44:51Z)
Loki: Low-rank Keys for Efficient Sparse Attention [44.74682508879725]
大規模言語モデル(LLM)の推論は、計算コストとメモリコストの面で高価である。本研究では,注目ブロックで計算された鍵ベクトルの次元性に着目し,自己注意を近似する手法を提案する。低次元空間で計算されたアテンションスコアに基づいてKVキャッシュ内のトークンをランク付けし、選択する新しいスパースアテンション手法であるLokiを提案する。
論文参考訳（メタデータ） (2024-06-04T17:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。