論文の概要: Price of universality in vector quantization is at most 0.11 bit

• arxiv url: http://arxiv.org/abs/2602.05790v1
• Date: Thu, 05 Feb 2026 15:46:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:09.015905
• Title: Price of universality in vector quantization is at most 0.11 bit
• Title（参考訳）: ベクトル量子化における普遍性の価格は、少なくとも0.11ビットである
• Authors: Alina Harbuzova, Or Ordentlich, Yury Polyanskiy,
• Abstract要約: 情報理論は、$W$の精度を下げるための最適アルゴリズムが$X$の統計量に依存することを示した。 しかし、X$の統計に対するコードブックの依存は非常に現実的ではない。 本稿は、X$の可能な全ての統計量に対して同時に最適に近い普遍的なコードブックが存在することを証明している。
• 参考スコア（独自算出の注目度）: 26.57214891762304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fast computation of a matrix product $W^\top X$ is a workhorse of modern LLMs. To make their deployment more efficient, a popular approach is that of using a low-precision approximation $\widehat W$ in place of true $W$ ("weight-only quantization''). Information theory demonstrates that an optimal algorithm for reducing precision of $W$ depends on the (second order) statistics of $X$ and requires a careful alignment of vector quantization codebook with PCA directions of $X$ (a process known as "waterfilling allocation''). Dependence of the codebook on statistics of $X$, however, is highly impractical. This paper proves that there exist a universal codebook that is simultaneously near-optimal for all possible statistics of $X$, in the sense of being at least as good as an $X$-adapted waterfilling codebook with rate reduced by 0.11 bit per dimension. Such universal codebook would be an ideal candidate for the low-precision storage format, a topic of active modern research, but alas the existence proof is non-constructive. Equivalently, our result shows existence of a net in $\mathbb{R}^n$ that is a nearly-optimal covering of a sphere simultaneously with respect to all Hilbert norms.
• Abstract（参考訳）: 行列積 $W^\top X$ の高速計算は、現代の LLM のワークホースである。 情報理論は、W$の精度を下げるための最適なアルゴリズムが$X$の統計量に依存し、PCA方向の$X$(「水充填割り当て」と呼ばれるプロセス)でベクトル量子化コードブックを注意深く調整する必要があることを証明している。 しかし、X$の統計に対するコードブックの依存は非常に現実的ではない。 本稿は,少なくとも1次元あたり0.11ビットの速度で,$X$適応型給水コードブックと同程度の精度で,可能なすべての統計量に対して同時に最適化された普遍的なコードブックが存在することを証明した。 このような普遍的なコードブックは、現代の活発な研究のトピックである低精度ストレージフォーマットの理想的な候補となるだろうが、その存在証明は建設的ではない。 同様に、我々の結果は、すべてのヒルベルトノルムに関して球面のほぼ最適被覆である$\mathbb{R}^n$におけるネットの存在を示す。

関連論文リスト

• An Iterative Algorithm for Differentially Private $k$-PCA with Adaptive Noise [8.555773470114698]
  任意の$k leq d$に対してトップ$k$固有ベクトルを推定できるアルゴリズムを提案する。 我々のアルゴリズムは、$n = tilde!O(d)$ であっても、ほぼ最適統計誤差を達成する。
  論文  参考訳（メタデータ） (2025-08-14T17:48:45Z)
• Theoretical limits of descending $\ell_0$ sparse-regression ML algorithms [0.0]
  本研究では,emphmaximum-likelihood (ML)デコーディングの性能解析プログラムを開発した。 ML性能パラメータの鍵となるのは、残留エンフェロ平均二乗誤差(textbfRMSE$)を発見し、いわゆるエンフェロ遷移(PT)現象を示す。 Fl RDTの具体的実装と実用的妥当性は、典型的には、基礎となる数値評価のサイズのセットを実行する能力に依存している。
  論文  参考訳（メタデータ） (2024-10-10T06:33:41Z)
• Transfer Q Star: Principled Decoding for LLM Alignment [105.89114186982972]
  Transfer $Q*$は、ベースラインモデルを通してターゲット報酬$r$の最適値関数を推定する。 提案手法は, 従来のSoTA法で観測された準最適差を著しく低減する。
  論文  参考訳（メタデータ） (2024-05-30T21:36:12Z)
• Robust Sparse Estimation for Gaussians with Optimal Error under Huber Contamination [42.526664955704746]
  本研究では,平均推定,PCA,線形回帰に着目したハマー汚染モデルにおけるスパース推定タスクについて検討する。 それぞれのタスクに対して、最適なエラー保証を備えた最初のサンプルと計算効率の良い頑健な推定器を与える。 技術レベルでは、スパース方式における新しい多次元フィルタリング法を開発し、他の応用を見出すことができる。
  論文  参考訳（メタデータ） (2024-03-15T15:51:27Z)
• Efficiently Learning One-Hidden-Layer ReLU Networks via Schur Polynomials [50.90125395570797]
  正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。 本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
  論文  参考訳（メタデータ） (2023-07-24T14:37:22Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• TURF: A Two-factor, Universal, Robust, Fast Distribution Learning Algorithm [64.13217062232874]
  最も強力で成功したモダリティの1つは、全ての分布を$ell$距離に近似し、基本的に最も近い$t$-piece次数-$d_$の少なくとも1倍大きい。 本稿では,この数値をほぼ最適に推定する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-15T03:49:28Z)
• More Optimal Simulation of Universal Quantum Computers [0.0]
  最悪のサンプリングコストは$le(2+sqrt2)xi_t delta-1$であり、$t rightarrow infty$である。 我々は、この68倍のプレファクタを、相関サンプリングにより$t$の先行値の低減により削減する。
  論文  参考訳（メタデータ） (2022-02-02T19:00:03Z)
• Hutch++: Optimal Stochastic Trace Estimation [75.45968495410048]
  我々は、任意の正半定値(PSD)$A$に対して、$(1 pm epsilon)$を$tr(A)$に近似する新しいランダム化アルゴリズムであるHutch++を導入する。 実験ではハッチンソン法を著しく上回る結果を得た。
  論文  参考訳（メタデータ） (2020-10-19T16:45:37Z)
• Convergence of Sparse Variational Inference in Gaussian Processes Regression [29.636483122130027]
  計算コストが$mathcalO(log N)2D(log N)2)$の手法を推論に利用できることを示す。
  論文  参考訳（メタデータ） (2020-08-01T19:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。