論文の概要: Adaptive Filtering of the KV Cache: Diagnosing and Correcting Structural-Role Bias in LLM Inference
- arxiv url: http://arxiv.org/abs/2607.13205v1
- Date: Tue, 14 Jul 2026 18:55:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.571001
- Title: Adaptive Filtering of the KV Cache: Diagnosing and Correcting Structural-Role Bias in LLM Inference
- Title（参考訳）: KVキャッシュの適応フィルタリング:LLM推論における構造線バイアスの診断と補正
- Abstract要約: KVキャッシュ消去はノイズを不均等に保持する非定常フィルタである。
キートークンは、応答するVALUEトークンの約1.8倍の速度で保持される。
反ファクト実験では、KEYトークンの抑制が最良のデプロイ可能なフィルタであることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Attention-based KV cache eviction (H2O and its descendants) compresses the memory-constrained state of a long-context model by ranking tokens on accumulated attention mass, treated here as signal energy, and keeping the heaviest. On schema-dense input streams such as nested JSON, this score acts as a non-stationary filter that disproportionately retains noise: a non-content sink role (delimiters or whitespace) carries an order of magnitude more energy than any content role, and structural KEY tokens are over-retained at roughly 1.8x the rate of the answer-carrying VALUE tokens, collapsing exact-match accuracy from 88% to 0% at a 5% budget as the signal-to-noise ratio of the retained state degrades. A counterfactual experiment establishes that suppressing KEY tokens is the best deployable filter. Our retraining-free, role-conditional allocation over SnapKV's windowed score, governed by a single tuned hyperparameter, closes 63-98% of the H2O gap at sub-20% budgets and, at higher budgets, modestly matches or exceeds full-cache accuracy -- a small, seed-sensitive denoising effect (borderline significant at B=0.50; not distinguishable from zero at B=0.30 over four seeds). A 15 MB linear role probe supplies these labels at negligible inference cost, though matching parser-level downstream accuracy remains open.
- Abstract（参考訳）: 注意ベースのKVキャッシュ消去(H2Oとその子孫)は、蓄積された注目質量にトークンをランク付けし、ここで信号エネルギーとして処理し、最も重い状態を維持することで、長文モデルのメモリ制約状態を圧縮する。
ネストされたJSONのようなスキーマ密度の入力ストリームでは、このスコアはノイズを不均等に保持する非定常フィルタとして機能する: 非コンテンツシンクロール(デリミターやホワイトスペース)は、どのコンテンツロールよりも桁違いに多くのエネルギーを消費し、構造的KEYトークンは、応答を搬送するVALUEトークンの約1.8倍の速度で過剰に保持され、保持された状態の信号とノイズの比率として5%の予算で正確なマッチ精度を88%から0%に崩壊させる。
反ファクト実験では、KEYトークンの抑制が最良のデプロイ可能なフィルタであることを示す。
1つの調整されたハイパーパラメータによって管理されるSnapKVのウィンドウスコアに対するトレーニングなし、ロール条件の割り当ては、20%以下の予算でH2Oギャップの63-98%を閉じます。
15MBの線形ロールプローブはこれらのラベルを無視可能な推論コストで供給するが、パーサレベルの下流の精度は未解決のままである。
関連論文リスト
- Caliber: Cross-Architecture Extraction-Cost Control for Score-Returning APIs [27.21644231867863]
Caliberは、キャリブレーション問題としてノイズ選択を定式化するモデル抽出に対する防御である。
知識蒸留に返却されたスコアを使用する攻撃者に対して、Caliberは独立して同一に分散したガウスノイズを内部ロジットに追加する。
Caliberは、正方形中央2対数辺による雑音分散を正規化し、その結果の雑音効用関係をロジスティック曲線に適合させる。
論文 参考訳（メタデータ） (2026-08-02T05:58:00Z) - BARS: Benign-Anchored Ranking and Selection for False Alarm Reduction in Network Intrusion Detection [0.0]
フィルタベースの特徴選択は、分類器の上流で動作し、推論時間コストを加算しないので魅力的である。
最近のクラス非対称フィルタであるClasswise Mean Deviation (CMD)は、クラス不均衡の下で攻撃分布へシフトするグローバル平均にスコアを固定する。
我々は,CMDのグローバルアンカーをベニグクラスの平均値に置き換える2段階フィルタであるベニグ・アンコール・ランク・アンド・セレクション(BARS)を提案する。
論文 参考訳（メタデータ） (2026-07-14T18:53:14Z) - Coverage-Driven KV Cache Eviction for Efficient and Improved Inference of LLM [12.14455026524814]
大きな言語モデル(LLM)は、質問応答や要約のような複雑なタスクに優れています。
既存のKV-cache消去戦略は、トークンのサブセットを選択的に格納するために注意の疎さを活用する。
K-VECは、キャッシュ内のトークンを排除しながらトークンのカバレッジを優先する、新しいカバレッジ対応KV-cache消去戦略である。
論文 参考訳（メタデータ） (2026-06-28T19:04:47Z) - DCP-Prune: Ultra-Low Token Pruning with Distribution Consistency Preservation [55.38884985761757]
最近のビジョントークンプルーニング法は、中程度のトークン予算ではモデル性能を効果的に維持するが、超低トークン予算では不安定になる。
Anchor-Context Graph Recovery (ACGR) と Text-Aware Token Cluster Selection (TATCS) からなる2段階のプルーニングフレームワークを提案する。
超低トークン予算下で,本手法がより優れた,より安定した性能を実現することを示す実験を行った。
論文 参考訳（メタデータ） (2026-06-15T12:24:07Z) - Training-free sparse attention based on cumulative energy filtering [5.794925677954963]
スパースアテンションは、残りの部分をスキップしながら重要なトークンのみを演算することで、ビデオ生成のための拡散変換器(DiT)を加速させる。
トークンフィルタリングを2ゴール最適化問題として定式化し,空間幅の最大化と精度劣化の最小化を行う。
私たちのアルゴリズムはFlash Attention(FA)と深く統合されており、追加のマスキングオーバーヘッドを不要にしています。
論文 参考訳（メタデータ） (2026-06-15T07:26:57Z) - Towards Joint Quantization and Token Pruning of Vision-Language Models [53.978753457744055]
トークンプルーニングと低ビット量子化は、推論コストの削減を補完する。
我々は、低ビット推論と決定論的視覚トーケンプルーニングを統一する協調量子化&プルーニングフレームワークを提案する。
標準VLMベンチマークの実験では、同じ低ビット状態下でのステージワイドベースラインよりもロバスト性が改善された。
論文 参考訳（メタデータ） (2026-04-19T08:18:29Z) - Scaling Attention via Feature Sparsity [50.64995497733461]
超長期のコンテキストにトランスフォーマーをスケールすることは、自己注意のコスト$O(n2 d)$コストによってボトルネックとなる。
本稿では,高次元表現性を維持するために,クエリとキーを$k$sparseコードとして表現するスパース特徴注意法を提案する。
GPT-2とQwen3の事前トレーニングで、SFAは密度の高いベースラインにマッチし、最高2.5タイムのスピードを向上し、FLOPとKVキャッシュを50%近く削減した。
論文 参考訳（メタデータ） (2026-03-17T08:41:50Z) - FASA: Frequency-aware Sparse Attention [56.26881872333624]
本稿では,トークンの重要度を動的に予測することで,クエリ対応のトークン消去を実現する新しいフレームワークであるFASAを提案する。
我々の重要な発見は、小さな「支配的」FCの特定可能なサブセットが、常に注目の頭文字と高い文脈の一致を示すことである。
長いコンテキストのタスクのスペクトル全体にわたって、FASAは全てのトークン放出ベースラインを一貫して上回り、ニアオラクル精度を達成する。
論文 参考訳（メタデータ） (2026-02-03T06:09:06Z) - vAttention: Verified Sparse Attention [100.98210818821688]
vAttentionは、ユーザが指定した$(epsilon, delta)$の近似精度保証(thus, confirmed)を備えた実用的なスパースアテンションメカニズムである。
vAttentionはデータセット間のスパースアテンションの質を大幅に改善することを示す。
モデルの品質を損なうことなく高速なデコードを実現するために、推論シナリオにデプロイすることができる。
論文 参考訳（メタデータ） (2025-10-07T08:46:08Z) - Value-Guided KV Compression for LLMs via Approximated CUR Decomposition [24.262712463465665]
CurDKVは、CUR行列分解から計算したレバレッジスコアに基づいてキーと値を選択する、新しい、値中心のKV圧縮手法である。
我々のアプローチは、注意出力$softmax(QKT)V$の支配的部分空間を近似し、保持されたトークンがモデルの予測挙動を最善に維持することを保証する。
論文 参考訳（メタデータ） (2025-09-18T15:04:06Z) - In-context KV-Cache Eviction for LLMs via Attention-Gate [12.732519329131392]
KVキャッシュ技術は、大規模言語モデル(LLM)の推論の標準となっている。
本稿では,Attention-Gateと呼ばれる軽量モジュールをモデルに注入することで,KVキャッシュの動的な消去ポリシーを実現する。
提案手法は複数のシナリオにまたがって実験的に評価され,冗長トークンの有効排除は効率を向上するだけでなく,性能も向上することを示した。
論文 参考訳（メタデータ） (2024-10-15T05:01:19Z) - Label Distributionally Robust Losses for Multi-class Classification:
Consistency, Robustness and Adaptivity [55.29408396918968]
多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。
我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。
本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
論文 参考訳（メタデータ） (2021-12-30T00:27:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。