論文の概要: Statistical Inference and Quality Measures of KV Cache Quantisations Inspired by TurboQuant
- arxiv url: http://arxiv.org/abs/2605.08114v1
- Date: Mon, 27 Apr 2026 23:11:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 12:34:33.709746
- Title: Statistical Inference and Quality Measures of KV Cache Quantisations Inspired by TurboQuant
- Title（参考訳）: TurboQuantにインスパイアされたKVキャッシュ量子化の統計的推測と品質対策
- Abstract要約: 3つのKVキャッシュ量子化スキームを公平な予算で分析する。
我々は、QJL on $K$が内部積の分散を$/2$に膨らませる様子を辿る。
本稿では,統計的推測と情報メトリクスを用いて,実践的な違いを浮き彫りにする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We analyse three KV cache quantization schemes under a fair bit budget: \textbf{KV} (scalar MSE baseline), \textbf{KQV} (WHT + MSE on $K$; WHT + MSE + QJL on $V$), and \textbf{QKQV} (WHT + MSE + QJL on both). Starting from the Beta distribution on the hypersphere, we trace how QJL on $K$ inflates inner product variance by $π/2$, which softmax amplifies nonlinearly via Jensen's inequality, and we present statistical inference and information metrics to highlight practical differences. Three empirical findings emerge. (1)~At $n=4$ (the practically dominant budget), KQV wins on every measure -- KL divergence, geometric $K$ error, and 6D distance -- across all distributions and ranks tested. (2)~The K--V asymmetry is unconditional: QKQV is consistently worse than KQV in KL divergence at every budget and distribution. (3)~A budget-dependent crossover exists: QKQV achieves better geometric $K$ reconstruction at $n \in \{2,3,5\}$, KQV at $n \in \{4,6\}$, invariant to rank and tail weight -- an open rate-distortion problem. $\mathrm{KL}(p_{\mathrm{ref}} \| p_{\mathrm{quant}})$, K-only by construction, bridges K direction error to routing corruption and output collapse. We present a sufficient condition when the Jensen mechanism amplifies superlinearly through the softmax. At $n \in \{2,3,5\}$, QKQV wins geometrically because this assumption does not bind. At $n=4$, elevated K error and KL divergence for QKQV strongly suggest the Jensen mechanism is the operative cause of the crossover, providing a new perspective and explanation.
- Abstract（参考訳）: KVキャッシュの量子化スキームを公平な予算で分析する: \textbf{KV} (スカラーMSEベースライン), \textbf{KQV} (WHT + MSE on $K$; WHT + MSE + QJL on $V$), \textbf{QKQV} (WHT + MSE + QJL on both)。
超球面上のベータ分布から、K$上のQJLが内部積の分散を$π/2$で膨らませることから、Jensenの不等式を通して、ソフトマックスが非線形に増幅する様子を辿り、統計的推測と情報メトリクスを示し、実際的な違いを強調する。
3つの経験的発見が現れる。
1~$n=4$(実質的に支配的な予算)の場合、KQVはテスト対象のすべての分布とランクで、KLの発散、幾何的な$K$エラー、および6D距離で勝利する。
QKQV は、すべての予算と分布において KL の発散における KQV よりも一貫して悪い。
QKQV は $n \in \{2,3,5\}$, KQV at $n \in \{4,6\}$, invariant to rank and tail weight -- a open rate-distortion problem。
$\mathrm{KL}(p_{\mathrm{ref}} \| p_{\mathrm{quant}})$, K-only by construction, Bridges K direction error to routing corruption and output collapse。
我々は、Jensen機構がソフトマックスを通して超線型を増幅する場合に十分な条件を示す。
$n \in \{2,3,5\}$ のとき、QKQV はこの仮定が結合しないので幾何学的に勝利する。
$n=4$で、QKQVに対するKLの高次誤差とKLの発散は、ジェンセン機構がクロスオーバーの操作的原因であることを強く示唆し、新たな視点と説明を与える。
関連論文リスト
- How Wrong Can a Good Predictor Be? Diverging Updates with Vanishing Predictive KL [8.929322780616545]
更新写像の間の非有界なギャップは、定常対称ガウス HMM において、固定有限$Kge2$ に対して消滅する予測的 KL と共存することができる。
この構成は$K$で固定されており、圧縮が無害である場合や内部のギャップがタスク損失を発生させる必要がある場合の普遍的な基準を提供していない。
論文 参考訳（メタデータ） (2026-09-10T06:22:53Z) - When Stronger Triggers Backfire: A High-Dimensional Theory of Backdoor Attacks [2.7998963147546143]
バックドア中毒は、高次元において反故意に振る舞う。
比例状態におけるガウス混合データに対する正規化一般化線形モデルについて検討する。
i) クリーンテストの精度は$$で上昇し、 (ii) 攻撃の成功は有限$でピークに達し、その後減少する。
論文 参考訳（メタデータ） (2026-05-21T13:39:06Z) - Quantum Causal Discovery via Amplitude Estimation of Kullback-Leibler Divergence [0.0]
本稿では,クリッピングされた対数密度比を振幅推定として符号化した量子アルゴリズムQKLA(Quantum Kullback-Leibler Amplitude Estimation)を提案する。
QKLAは2次精度の改善を実現し、$mathcalO((L/)log (1/)$クエリのみを必要とする。
階層ごとの条件付きオーラルアクセスとCI決定のマージン仮定の下で、PCアルゴリズムの化合物にこの推定器を埋め込み、$widetilde (1/(L)にする。
論文 参考訳（メタデータ） (2026-04-25T21:46:28Z) - Covariant quantum error correction in a three-layer quantum brain model: computational analysis of layer-specific coherence dynamics [0.0]
2つのラジカル対タンパク質間の近似共変量子誤差補正(CQEC)を評価する。
CQECは0.83(95% CI [0.76, 0.79)のコヒーレンスを維持している。
T = 26$msでは、CQECで保護されたコヒーレンスが0.69のままである。
論文 参考訳（メタデータ） (2026-03-31T11:47:00Z) - Multiple-play Stochastic Bandits with Prioritized Arm Capacity Sharing [52.124267908936396]
このモデルは、$M$armと$K$playで構成されている。
各アームには複数の能力があり、各ユニットの能力は報酬関数に関連付けられている。
複数のプレーがアームキャパシティを競う場合、アームキャパシティは第1の優先重みで割り当てられる。
論文 参考訳（メタデータ） (2025-12-25T11:19:09Z) - qc-kmeans: A Quantum Compressive K-Means Algorithm for NISQ Devices [3.4129039170001314]
NISQハードウェア上のクラスタリングは、データローディングと限定キュービットによって制限される。
提案するqc-kmeansは,QAOA回路が浅いグループごとのQUBOを解くことで,一定のサイズのフーリエ特徴スケッチでデータセットを要約し,セントロイドを選択するハイブリッドな$k$-meansである。
論文 参考訳（メタデータ） (2025-10-26T05:44:17Z) - On the $O(\ rac{\sqrt{d}}{K^{1/4}})$ Convergence Rate of AdamW Measured by $\ell_1$ Norm [52.95596504632859]
本稿では、$ell_1$ノルムで測定されたAdamWに対して、収束速度 $frac1Ksum_k=1KEleft[||nabla f(xk)||_1right]leq O(fracsqrtdCK1/4)$を確立する。
結果は、二重モーメント機構を用いたAdamW変種であるNAdamWに拡張し、同じ収束率を維持していることを示す。
論文 参考訳（メタデータ） (2025-05-17T05:02:52Z) - Variance-Dependent Regret Lower Bounds for Contextual Bandits [65.93854043353328]
これは従来の$tildeO(dsqrtK)$ regret bound to $tildeO(dsqrtsum_k=1Ksigma_k2)$で改善されている。
論文 参考訳（メタデータ） (2025-03-15T07:09:36Z) - Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit
Feedback and Unknown Transition [71.33787410075577]
線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。
我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-07T15:03:50Z) - Settling the Sample Complexity of Online Reinforcement Learning [92.02082223856479]
バーンインコストを発生させることなく、最小限の最適後悔を実現する方法を示す。
最適値/コストや一定の分散といった問題依存量の影響を明らかにするために、我々の理論を拡張します。
論文 参考訳（メタデータ） (2023-07-25T15:42:11Z) - Contraction of Locally Differentially Private Mechanisms [8.547801169402923]
我々は、$PK$と$QK$の出力分布が$epsilon$-LDPメカニズムの$K$のばらつきに基づいて、厳密な境界を導出する。
次に、これらの境界を利用して、バンツリーの不等式、ル・カム、アスード、および相互情報手法の局所的プライベートバージョンを確立する。
論文 参考訳（メタデータ） (2022-10-24T16:38:12Z) - Polyak-Ruppert Averaged Q-Leaning is Statistically Efficient [90.14768299744792]
我々はPolyak-Ruppert 平均 Q-leaning (平均 Q-leaning) を用いた同期 Q-learning を$gamma$-discounted MDP で検討した。
繰り返し平均$barboldsymbolQ_T$に対して正規性を確立する。
要するに、我々の理論分析は、Q-Leaningの平均は統計的に効率的であることを示している。
論文 参考訳（メタデータ） (2021-12-29T14:47:56Z) - Variance-Aware Confidence Set: Variance-Dependent Bound for Linear
Bandits and Horizon-Free Bound for Linear Mixture MDP [76.94328400919836]
線形バンドイットと線形混合決定プロセス(mdp)に対する分散認識信頼セットの構築方法を示す。
線形バンドイットに対しては、$d を特徴次元とする$widetildeo(mathrmpoly(d)sqrt1 + sum_i=1ksigma_i2) が成り立つ。
線形混合 MDP に対し、$widetildeO(mathrmpoly(d)sqrtK)$ regret bound を得る。
論文 参考訳（メタデータ） (2021-01-29T18:57:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。