論文の概要: Beyond Mean Attention: Diversity-Aware, Layer-Wise Scoring for KV Cache Eviction

• arxiv url: http://arxiv.org/abs/2609.30738v1
• Date: Fri, 25 Sep 2026 03:08:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.197595
• Title: Beyond Mean Attention: Diversity-Aware, Layer-Wise Scoring for KV Cache Eviction
• Title（参考訳）: 意味以上の注意: 多様性を意識したKVキャッシュのレイヤワイズスコーディング
• Abstract要約: KVキャッシュ消去法は、小さな観測窓に平均的な注意だけでトークンをランク付けする。 統一スコアである$_i+__mathrmcorr(i,S)$について検討し,ウィンドウクエリ間の注意分散と,選択したトークンに対する冗長性について検討した。
• 参考スコア（独自算出の注目度）: 3.060720241524644
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: KV cache eviction methods such as SnapKV and PyramidKV rank tokens solely by mean attention over a small observation window. We study a unified score, $μ_i+λ_1σ_i+λ_2\mathrm{corr}(i,S)$, adding attention dispersion across window queries and redundancy relative to selected tokens. For $λ_2<0$, the score penalizes similarity to selected tokens as in maximal marginal relevance (MMR), without extra forward passes. To test whether this relevance-diversity balance should vary with depth, we compare fixed global coefficients with three-segment and quadratic profiles. Only these depth profiles are searched on a development split under a $\sinh$ reparameterization. On all 16 English LongBench datasets with Mistral-7B at a budget of 64 entries per layer, a single global diversification constant improves 13 of 16 datasets (macro +1.1); the gain holds at budget 32 and narrows at 128. Per-dataset search finds no detectable layer structure on most datasets; on passage retrieval it finds a large one: a mid-layer sign flip that rewards similarity and is worth +9.6 over the baseline at budget 64 and, without re-tuning, +13.2 over the global constant at budget 128. Ablations attribute the gain to the redundancy term; replaying every accepted search state on the held-out test set separates genuine structure from tuning noise.
• Abstract（参考訳）: SnapKVやPraamidKVのようなKVキャッシュの消去方法は、小さな観測窓の上の平均的な注意によってのみ行われる。 統一スコアである$μ_i+λ_1σ_i+λ_2\mathrm{corr}(i,S)$について検討し,選択したトークンに対して,ウィンドウクエリ間の注意分散と冗長性を加える。 λ_2<0$の場合、スコアは選択されたトークンとの類似性を、余分なフォワードパスなしでMMR(Maximal marginal Relevance)で証明する。 この妥当性と多様性のバランスが深さによって異なるかどうかをテストするために、固定された大域係数を3次元および2次プロファイルと比較する。 これらの深度プロファイルだけが$\sinh$再パラメータ化の下で開発分割で検索される。 英語のLongBenchデータセットをMistral-7Bで1層あたり64エントリとした場合、単一のグローバルな多様化定数は16データセットのうち13データセット(macro +1.1)を改善し、利得は予算32で保持され、128で狭くなる。 パーデータセット検索は、ほとんどのデータセットで検出可能な層構造は見つからないが、パス検索では大きなものを見つける: 類似性に報酬を与え、予算64のベースラインで+9.6、予算128のグローバル定数で+13.2である。 ホールドアウトテストセット上の全ての検索状態の再生は、真の構造をチューニングノイズから分離する。

関連論文リスト

• Frozen Cores Need Task Signal: Fisher-Whitened Cross-Covariance for Low-Resource LLM Adaptation [18.8104643146881]
  厳格な訓練州予算の下で, コンストラクタ効率の高い微調整の選択について検討した。 我々は、署名された入力-エラーの相互共分散を推定し、対角的なフィッシャーモーメントと白くし、その結果の局所距離でそれを切り離し、選択した方向を写像し、より薄いQRを適用して安定したコア座標を得るFCCAを紹介する。 Qwen2.5-3B では、FCCA は 83.0 のマクロ平均値に達し、その2.3 ポイントは、マッチした予算のコンストラクタよりも高く、11 タスクすべてにおいて未白の RawGrad コントロールを超えている。
  論文  参考訳（メタデータ） (2026-09-01T05:52:38Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• RAVEN: A Regime-Aware Variable-context Expert Network for Financial Time Series Forecasting [83.06074370551887]
  固定コンテキストウィンドウは、非定常価格プロセスの時間変化最適振り返りと一致しない。 本稿では,各サンプルの時間的文脈を適応的に決定するMixture-of-Expertsフレームワークを提案する。 累積ログリターン予測(HS300、S&P500)およびファンド販売予測の実験では、RAVENはSOTAのパフォーマンスを達成し、HS300ではピアソン相関を9.2%改善し、S&P500では20.2%改善し、MSEを18.2%削減している。
  論文  参考訳（メタデータ） (2026-06-23T02:11:04Z)
• The Evaluation Blind Spot: A Stereological Theory of Benchmark Coverage for Large Language Models [0.0]
  実証的に、3つの独立したリーダーボード(Open LLM v2、拡張12ベンチマークスイート、LiveBench)は、いずれも[2.86, 4.80]のd_effを持つ。 Nemhauser (1 − 1/e) 保証付き部分モジュラーグリードアルゴリズムは、4つのベンチマークの安定なコアを見つける。 12のベンチマークと27のカテゴリの反実的な検証では、固有構造がどの評価が置き換えられないかを予測している。
  論文  参考訳（メタデータ） (2026-04-15T08:56:58Z)
• Sensitivity-Positional Co-Localization in GQA Transformers [0.0]
  グループクエリアテンション変換器における基本構造問題について検討する。 タスクの正確性に最も敏感なレイヤは、位置エンコーディング適応が最大のレバレッジを持つレイヤと一致しているか? LSLORAは,新しい正当性差分隠れ状態メートル法により同定された層へのLoRA適応を制限し,GARFAは対象層に8個の学習可能なKVヘッドスカラー乗算器を付加する。
  論文  参考訳（メタデータ） (2026-04-09T03:41:33Z)
• vAttention: Verified Sparse Attention [100.98210818821688]
  vAttentionは、ユーザが指定した$(epsilon, delta)$の近似精度保証(thus, confirmed)を備えた実用的なスパースアテンションメカニズムである。 vAttentionはデータセット間のスパースアテンションの質を大幅に改善することを示す。 モデルの品質を損なうことなく高速なデコードを実現するために、推論シナリオにデプロイすることができる。
  論文  参考訳（メタデータ） (2025-10-07T08:46:08Z)
• A Case for Library-Level k-Means Binning in Histogram Gradient-Boosted Trees [0.0]
  量子ビン化を$k$-means離散化器に置き換える新しい手法を考える。 我々はこのスワップを、33のOpenMLデータセット上で量子化と均一なビンニングに対してテストする。
  論文  参考訳（メタデータ） (2025-05-18T15:28:06Z)
• Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity [55.29408396918968]
  多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。 我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。 本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
  論文  参考訳（メタデータ） (2021-12-30T00:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。