Fugu-MT 論文翻訳(概要): Ablation, Statistical Inference, and Validation for KV-Cache Compression

論文の概要: Ablation, Statistical Inference, and Validation for KV-Cache Compression

arxiv url: http://arxiv.org/abs/2607.09683v1
Date: Sun, 14 Jun 2026 22:44:55 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-19 21:54:20.364482
Title: Ablation, Statistical Inference, and Validation for KV-Cache Compression
Title（参考訳）: KVキャッシュ圧縮のアブレーション, 統計的推測, 検証
Abstract要約: 本研究では,Turbo-QuantとSpectralQuant KV-cacheの圧縮を系統的に比較し,非支配的スキームの評価を行った。鍵となる発見は、固有基底法は共分散不安定により重み付きデータでは失敗するが、構造的レシエーションでは優れることを示している。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This study systematically compares Turbo-Quant and SpectralQuant KV-cache compression, evaluating non-dominated schemes, including WHT rotation with Beta Lloyd-Max and QJL, through a statistical validation methodology that separates systematic codec differences from implementation variance. Key findings reveal that while eigenbasis-based methods fail on heavy-tailed data due to covariance instability, they excel in structured regimes, with the effective semantic dimension ($d_{eff}$) adapting to calibration budgets rather than true data rank. (this is an abstract of the abstract thank you )
Abstract（参考訳）: 本研究では,Turbo-Quant と SpectralQuant KV-cache の圧縮を系統的に比較し,WHT 回転を含む非支配型スキームをβ Lloyd-Max と QJL で評価する。鍵となる発見は、固有ベイズに基づく手法は、共分散不安定により重み付きデータでは失敗するが、真のデータランクではなくキャリブレーション予算に適応する効果的なセマンティック次元(d_{eff}$)で、構造化されたレシエーションにおいて優れていることである。 (これは抽象的なお礼の要約です)

関連論文リスト

KV-CoRE: Benchmarking Data-Dependent Low-Rank Compressibility of KV-Caches in LLMs [28.06342293292956]
大規模な言語モデルは、自動回帰復号時に冗長な計算を避けるためにkv-cachesに依存している。コンテキストの長さが大きくなると、キャッシュの読み書きはGPUメモリの帯域幅を急速に飽和させる。最近の研究はKV-cache圧縮を探求しているが、ほとんどのアプローチはkv-cachesのデータ依存性を無視している。
論文参考訳（メタデータ） (2026-02-05T17:41:57Z)
Probabilistic Variational Contrastive Learning [8.23660331371415]
我々は,エビデンスローバウンド(ELBO)を最大化するデコーダフリーフレームワークを提案する。約$q_theta(z|x)$を投影正規分布としてモデル化し、確率的埋め込みのサンプリングを可能にする。
論文参考訳（メタデータ） (2025-06-11T20:26:07Z)
Noise-Adaptive Conformal Classification with Marginal Coverage [53.74125453366155]
本稿では,ランダムラベルノイズによる交換性からの偏差を効率的に処理できる適応型共形推論手法を提案する。本手法は,合成および実データに対して,その有効性を示す広範囲な数値実験により検証する。
論文参考訳（メタデータ） (2025-01-29T23:55:23Z)
High-dimensional Statistics Applications to Batch Effects in Metabolomics [0.4834684822950222]
大規模な代謝学ではバッチ効果は避けられない。品質制御に基づく同時テスト(QC-ST)と共分散補正(CoCo)を提案する。 QC-STは、異なるバッチ間でQCサンプルの平均ベクトルと共分散行列の統計的意義を同時に検出することができる。
論文参考訳（メタデータ） (2024-12-13T15:10:48Z)
Performance of Cross-Validated Targeted Maximum Likelihood Estimation [0.0]
CVTMLE と TMLE を比較し,様々な環境における CVTMLE の性能について検討した。 CVTMLEは、バイアスに悪影響を及ぼすことなく、信頼区間のカバレッジを大幅に改善する。 CVTMLEは超学習者ライブラリの選択にはるかに敏感であることを示す。
論文参考訳（メタデータ） (2024-09-17T15:15:03Z)
Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文参考訳（メタデータ） (2023-03-06T14:49:59Z)
Privacy-Preserving and Lossless Distributed Estimation of High-Dimensional Generalized Additive Mixed Models [0.9023847175654603]
CWBを用いたGAMM(Generalized Additive Mixed Model)の分散・プライバシ保存・ロスレス推定アルゴリズムを提案する。我々のCWBの適応は、偏りのない特徴選択や高次元特徴空間におけるモデル適合性など、元のアルゴリズムのすべての重要な特性を保っている。また, 分散心疾患データセット上でのアルゴリズムの有効性を実証し, 最先端の手法と比較した。
論文参考訳（メタデータ） (2022-10-14T11:41:18Z)
Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。 PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
論文参考訳（メタデータ） (2022-01-26T19:59:14Z)
Learning, compression, and leakage: Minimising classification error via meta-universal compression principles [87.054014983402]
学習シナリオのための圧縮技法の有望なグループは、正規化極大(NML)符号化である。ここでは,教師付き分類問題に対するNMLに基づく意思決定戦略を検討し,多種多様なモデルに適用した場合にPAC学習を実現することを示す。本手法の誤分類率は,プライバシに敏感なシナリオにおいて,データ漏洩の可能性を定量化するための指標である最大リークによって上限づけられていることを示す。
論文参考訳（メタデータ） (2020-10-14T20:03:58Z)
Effective Data-aware Covariance Estimator from Compressed Data [63.16042585506435]
本研究では,データ対応重み付きサンプリングベース共分散行列推定器,すなわち DACE を提案し,非バイアス共分散行列推定を行う。我々は、DACEの優れた性能を示すために、合成データセットと実世界のデータセットの両方で広範な実験を行う。
論文参考訳（メタデータ） (2020-10-10T10:10:28Z)
Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文参考訳（メタデータ） (2020-06-23T07:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。