論文の概要: SAKI: Score-Aware Low-Rank Key Indexing with Random-Matrix Noise Correction for KV Retrieval

• arxiv url: http://arxiv.org/abs/2608.03228v2
• Date: Wed, 05 Aug 2026 20:50:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 15:25:20.728729
• Title: SAKI: Score-Aware Low-Rank Key Indexing with Random-Matrix Noise Correction for KV Retrieval
• Title（参考訳）: SAKI:KV検索のためのランダム行列雑音補正付きスコア対応低ランクキーインデックス
• Abstract要約: キー再構成の品質よりも注意点を保存できる学習自由なKVキャッシュインデックスを開発した。 ランク32では、PCAの残るトップ64リコールエラーの13～30%を除去する。 1モデルあたりの注目度は68～99%向上し、より深い層で最大の増加率となる。
• 参考スコア（独自算出の注目度）: 4.894648561808929
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing low rank KV cache methods preserve either model weights or key variance, neither of which directly reflects the attention scores used during inference. We derive the expected attention score distortion caused by rank r key compression and show that it yields a covariance weighted low rank objective. Under a margin condition, controlling this distortion also improves top k recall. The optimal rank r solution has a closed form asymmetric factorization obtained from the SVD of the covariance weighted query key operator. This motivates SAKI, a training free KV cache index that directly preserves attention scores rather than key reconstruction quality. Across LLaMA 3.1 8B, Qwen 2.5 7B, Mistral 7B v0.1, and Llama 3.2 3B, SAKI outperforms key PCA at every tested rank. At rank 32, it removes 13 to 30 percent of PCA's remaining top 64 recall error, including improvements from 0.748 to 0.799 on LLaMA 3.1 8B and from 0.786 to 0.850 on Qwen 2.5 7B. It improves 68 to 89 percent of attention heads per model, with the largest gains in deeper layers. Predicted score MSE reductions closely match empirical measurements, with a Pearson correlation of 0.997, while ablation studies confirm that the gains arise from optimizing the attention score objective rather than covariance weighting alone. Analysis of the scoring operator further explains why weight only, invariant subspace, and key reconstruction methods can be suboptimal. SAKI uses random-matrix theory to separate genuine covariance signal from autocorrelated sampling noise, matching PCA with only 512 calibration tokens and adding value exactly where PCA sees no reliable signal.
• Abstract（参考訳）: 既存の低いランクのKVキャッシュ手法は、モデルウェイトまたはキーのばらつきを保存しており、どちらも推論時に使われる注意点を直接反映していない。 我々は、ランクrキー圧縮による期待される注目スコア歪みを導出し、それが共分散重み付き低ランク目標をもたらすことを示す。 マージン条件下では、この歪みを制御することにより、トップkリコールも改善される。 最適ランクr溶液は、共分散重み付きクエリキー演算子のSVDから得られる閉形式非対称因子化を有する。 これは、キー再構築品質ではなく、注意点を直接保存するトレーニングフリーなKVキャッシュインデックスであるSAKIを動機付けている。 LLaMA 3.1 8B、Qwen 2.5 7B、Mistral 7B v0.1、Llama 3.2 3Bをまたいで、SAKIはテストされた各ランクごとにキーPCAを上回っている。 ランク32では、PCAの残るトップ64リコールエラーの13～30%を除去し、LLaMA 3.1 8Bでは0.748から0.799、Qwen 2.5 7Bでは0.786から0.850に改善した。 1モデルあたりの注目度は68～99%向上し、より深い層で最大の増加率となる。 予測スコアMSEの低減は経験的測定と密接に一致し, ピアソン相関は0.997であり, アブレーション研究では, 共分散重み付けのみではなく, 注目スコアの目的を最適化することによって得られることが確認された。 スコアリング演算子の解析により、なぜ重みのみ、不変部分空間、および鍵再構成法が最適でないのかがさらに説明される。 SAKIは乱数行列理論を用いて、真の共分散信号を自己相関サンプリングノイズから切り離し、PCAと512の校正トークンをマッチングし、PCAが信頼できる信号を見ないような値を追加する。

関連論文リスト

• TrustRoboReward: Preference-Ordered Isotonic Score Editing for Multi-Paradigm Robot Reward Models [40.42873860258522]
  優先順序等調スコア編集(POISE)を備えたマルチパラダイム報酬モデリングフレームワークであるTrustRoboRewardを提案する。 POISEはポイントワイズスコアを修正し、TrustJudgeが未解決のクロスパラダイム逆転競合を取り除く。 POISEでトレーニングされたQwen3-VL-4Bは、全体的な報酬スコアが77.96%に達し、GPT-5-mini(78.09%、ギャップ0.13%)とほぼ一致し、最強のRoboReward-4Bベースラインを10.13%上回った。
  論文  参考訳（メタデータ） (2026-08-09T05:25:22Z)
• Quality-Diversity Stress Tests for Process Reward Models:What Archive Coverage Can and Cannot Certify [1.0742675209112622]
  MAP-Elites を用いた品質多様性探索問題として PRM ストレス試験を定式化する。 有限セル修復は、カバーセルのテールリスクと平均残酷さを境界とするが、カバーレートだけでは最悪の残酷なセルをバウンドすることはできない。 事前宣言されたペアのLoRA修復プロトコルは、攻撃率が0.148から0.037から0.074に減少し、最悪の攻撃は0.333から0.177から0.212に減少し、最高の4つの精度を低下させることなくAUROCのランキングを改善する。
  論文  参考訳（メタデータ） (2026-08-08T08:41:06Z)
• Forgetful Attention: A Trainable Support-Vector Memory with Certified Selection and Exact Unlearning [0.16921396880325776]
  固定ボックスパラメータCの1クラスSfpの支持係数が重みを持つメモリであるSupport Vector Attention(SV-Attention)を導入する。 アクティブセットのパーティションは、リザーブトークンを正確にゼロウェイト、出力ウェイトを与え、インクリメンタルインクリメンタルソルバトークンは、同じCの下で再トレーニングせずに生成した状態を回復する。 また,実文埋め込み上での外科的排除,正確な編集,患者記録の削除,忘れやすい検索メモリも示す。
  論文  参考訳（メタデータ） (2026-07-13T23:13:57Z)
• Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
  通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。 我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。 ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
  論文  参考訳（メタデータ） (2026-07-07T10:10:00Z)
• Rethinking Noise-Robust Training for Frozen Vision Foundation Models: A Cross-Dataset Benchmark with a Case Study of Small-Loss Failure [7.512887610816016]
  軽微な分類ヘッドを持つ凍結視覚基礎モデル (VFM) は、医用画像の撮影にますます利用されている。 5つの医療データセット,3つのバックボーン,2つのノイズタイプ,5つのノイズレートにまたがる8つのノイズラベル手法のベンチマークを示す。 我々は,エビデンスに基づく指導と,実践的な勧告のための低信頼度特徴空間セレクタで締めくくる。
  論文  参考訳（メタデータ） (2026-05-21T15:02:44Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Pretraining Objective Matters in Extreme Low-Data FGVC: A Backbone-Controlled Study [39.146761527401424]
  教師付き分類、コントラスト学習(SigLIP2)、マスク再構築(MAE)、自己蒸留(DINOv3)の4つの凍結型ViT-B/16エンコーダを比較した。 教師付きおよび対照的なエンコーダは、最も強い線形分離性(論理的AUC: 0.768 と 0.735; SVM AUC: 0.739 と 0.697)を提供する。 この領域では、DINOv3はプローブファミリーで不活性である。
  論文  参考訳（メタデータ） (2026-05-15T04:14:16Z)
• Metric Unreliability in Multimodal Machine Unlearning: A Systematic Analysis and Principled Unified Score [14.579552536669217]
  一般データ保護規制法に準拠するためには、ビジョンランゲージモデル(VLM)のアンラーニングが必要である。 マルチモーダル・アンラーニングにおける信頼性の最初の研究について述べる。 統一品質スコア(Unified Quality Score, UQS)は, 各計量のスピアマン相関と距離の関係から得られる重みを持つ計量である。
  論文  参考訳（メタデータ） (2026-05-04T04:13:00Z)
• Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
  わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。 選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。 これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
  論文  参考訳（メタデータ） (2026-04-20T00:57:31Z)
• The Evaluation Blind Spot: A Stereological Theory of Benchmark Coverage for Large Language Models [0.0]
  実証的に、3つの独立したリーダーボード(Open LLM v2、拡張12ベンチマークスイート、LiveBench)は、いずれも[2.86, 4.80]のd_effを持つ。 Nemhauser (1 − 1/e) 保証付き部分モジュラーグリードアルゴリズムは、4つのベンチマークの安定なコアを見つける。 12のベンチマークと27のカテゴリの反実的な検証では、固有構造がどの評価が置き換えられないかを予測している。
  論文  参考訳（メタデータ） (2026-04-15T08:56:58Z)
• CARE: Covariance-Aware and Rank-Enhanced Decomposition for Enabling Multi-Head Latent Attention [35.44699837487632]
  固定KV幅の共分散対応・ランク強化型MLA変換パイプラインを提案する。 CAREは、3つの重要なステップを紹介している: (i) 活性化保存因子化 (i) 重量だけでなく実際の入力アクティベーションと近似を一致させる) 調整されたランク割り当て (ii) 固定されたKV予算を層に分散させ、最も必要な層により多くのキャパシティを与える) 変換されたKとVをパラメータ化してMLAフォーマットに適合させるKVパリティマッピング (iii) 。
  論文  参考訳（メタデータ） (2026-03-18T17:18:35Z)
• Near-Oracle KV Selection via Pre-hoc Sparsity for Long-Context Inference [54.467557491325046]
  本稿では,注意スコアの前にKVエントリを選択し,明示的な精度制御を行うプリホックスパシティ(PrHS)を提案する。 PrHSは検索オーバーヘッドを90%以上削減し、HShareよりも3倍高い精度で検索できる。 これはLongBenchの平均劣化率を1%以下に抑え、FLOPを約15%減らし、9.9倍のレイテンシと2.8倍のスループットを得る。
  論文  参考訳（メタデータ） (2026-02-09T07:05:23Z)
• Towards Economical Inference: Enabling DeepSeek's Multi-Head Latent Attention in Any Transformer-based LLMs [92.7279890407059]
  MLA(Multi-head Latent Attention)は、効率的かつ経済的推論を保証するために設計された革新的なアーキテクチャである。 本稿では,マルチヘッドアテンションからMLAへの移行のための,データ効率の良いファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:50:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。