論文の概要: A Note on TurboQuant and the Earlier DRIVE/EDEN Line of Work
- arxiv url: http://arxiv.org/abs/2604.18555v1
- Date: Mon, 20 Apr 2026 17:44:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-21 21:52:53.026809
- Title: A Note on TurboQuant and the Earlier DRIVE/EDEN Line of Work
- Title（参考訳）: TurboQuantと初期のDRIVE/EDENラインについての一考察
- Authors: Ran Ben-Basat, Yaniv Ben-Itzhak, Gal Mendelson, Michael Mitzenmacher, Amit Portnoy, Shay Vargaftik,
- Abstract要約: TurboQuant$_textmse$は、EDENのスカラースケールパラメータを$S=1$に固定することで得られるEDENの特別なケースである。
TurboQuant$_textprod$はバイアス付き$(b-1)$-bit EDENステップと残基のバイアスなし1ビットQJL量子化を組み合わせたものである。
実験によると、EDEN(最適化された$S$)のバイアスはTurboQuant$_textprod$よりも正確である。
- 参考スコア（独自算出の注目度）: 18.096768016089666
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This note clarifies the relationship between the recent TurboQuant work and the earlier DRIVE (NeurIPS 2021) and EDEN (ICML 2022) schemes. DRIVE is a 1-bit quantizer that EDEN extended to any $b>0$ bits per coordinate; we refer to them collectively as EDEN. First, TurboQuant$_{\text{mse}}$ is a special case of EDEN obtained by fixing EDEN's scalar scale parameter to $S=1$. EDEN supports both biased and unbiased quantization, each optimized by a different $S$ (chosen via methods described in the EDEN works). The fixed choice $S=1$ used by TurboQuant is generally suboptimal, although the optimal $S$ for biased EDEN converges to $1$ as the dimension grows; accordingly TurboQuant$_{\text{mse}}$ approaches EDEN's behavior for large $d$. Second, TurboQuant$_{\text{prod}}$ combines a biased $(b-1)$-bit EDEN step with an unbiased 1-bit QJL quantization of the residual. It is suboptimal in three ways: (1) its $(b-1)$-bit step uses the suboptimal $S=1$; (2) its 1-bit unbiased residual quantization has worse MSE than (unbiased) 1-bit EDEN; (3) chaining a biased $(b-1)$-bit step with a 1-bit unbiased residual step is inferior to unbiasedly quantizing the input directly with $b$-bit EDEN. Third, some of the analysis in the TurboQuant work mirrors that of the EDEN works: both exploit the connection between random rotations and the shifted Beta distribution, use the Lloyd-Max algorithm, and note that Randomized Hadamard Transforms can replace uniform random rotations. Experiments support these claims: biased EDEN (with optimized $S$) is more accurate than TurboQuant$_{\text{mse}}$, and unbiased EDEN is markedly more accurate than TurboQuant$_{\text{prod}}$, often by more than a bit (e.g., 2-bit EDEN beats 3-bit TurboQuant$_{\text{prod}}$). We also repeat all accuracy experiments from the TurboQuant paper, showing that EDEN outperforms it in every setup we have tried.
- Abstract（参考訳）: このノートは、最近のTurboQuantの作業と初期のDRIVE(NeurIPS 2021)とEDEN(ICML 2022)のスキームとの関係を明らかにしている。
DRIVEは1ビットの量子化器であり、EDENは座標当たりの任意の$b>0$ビットにまで拡張された。
まず、TurboQuant$_{\text{mse}}$は、EDENのスカラースケールパラメータを$S=1$に固定することで得られるEDENの特別なケースである。
EDENは偏りのある量子化と偏りのない量子化の両方をサポートし、それぞれ異なる$S$で最適化される。
TurboQuantが使用する固定選択$S=1$は概して最適であるが、バイアス付きEDENの最適な$S$は次元が大きくなるにつれて1ドルに収まる。
第二に、TurboQuant$_{\text{prod}}$はバイアス付き$(b-1)$-bit EDENステップと残基のバイアスなし1ビットQJL量子化を結合する。
1)$(b-1)$-bitのステップは、(1)$S=1$、(2)1ビットの未バイアス残差量子化は、1ビットのEDENよりもMSEが悪く、(3)1ビットの未バイアス残差ステップでバイアスされた$(b-1)$-bitのステップを1ビットの未バイアス残差ステップでチェーンすることは、$b$-bit EDENで直接入力を非バイアス的に量子化するよりも劣る。
第3に、TurboQuantのワークミラーにおける解析では、ランダムな回転とシフトしたベータ分布の接続を利用し、ロイドマックスアルゴリズムを使用し、ランダム化されたアダマール変換が一様なランダムな回転を置き換えることができることに注意する。
バイアス付きEDEN(最適化された$S$)はTurboQuant$_{\text{mse}}$より正確であり、バイアスなしEDENはTurboQuant$_{\text{prod}}$よりも著しく正確である。
また、TurboQuantの論文から得たすべての精度実験を繰り返すことで、EDENは私たちが試したすべての設定において、それより優れていることを示す。
関連論文リスト
- Optimal Scalar Quantization for Matrix Multiplication: Closed-Form Density and Phase Transition [50.36362492608702]
乗算前の2つの行列のエントリーワイズスカラー量子化について検討した。
我々は、閉形式の最適点密度 [ star(u) propto exp!left(-fracu26right)bigl( (1-2)+2u22bigr), qquad u=fracx_X を求め、相関駆動相転移を証明した。
論文 参考訳（メタデータ） (2026-03-20T01:53:44Z) - Rényi exponent landscape of multipartite entanglement in free-fermion systems [51.56484100374058]
我々は、Rényi tripartite information $I_3() が小フェルミ運動量での質的に $exclusion-dependent scaling を示すことを示した。
I_m(n)/I_m(1) sim zm-1 to 0$ for all integer $n geq 2$, so the leading von Neumann signal can builded from integer Rényi data。
論文 参考訳（メタデータ） (2026-03-09T22:27:00Z) - Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction [57.93371273485736]
我々は、すべての労働者が同一の分布にアクセスする均質な(すなわちd.d.)場合であっても、すべての労働者が非バイアス付き境界 LDeltaepsilon2,$$$$$ のポリ対数的により良いポリ対数を求める集中型分散学習環境を考える。
論文 参考訳（メタデータ） (2025-06-30T13:27:39Z) - Corner Gradient Descent [13.794391803767617]
最大$O(t-2zeta)$までのレートは、無限メモリを持つ一般化定常SGDによって達成できることを示す。
理想コーナーアルゴリズムは有限メモリアルゴリズムによって効率よく近似できることを示す。
論文 参考訳（メタデータ） (2025-04-16T22:39:41Z) - Revisiting Step-Size Assumptions in Stochastic Approximation [1.3654846342364308]
この仮定は、収束とより微細な結果には必要ないことが初めて示される。
標準アルゴリズムおよびPolyakとRuppertの平均化手法を用いて得られた推定値に対して収束率を求める。
数値実験の結果,乗法雑音とマルコフ記憶の組み合わせにより,$beta_theta$が大きくなる可能性が示唆された。
論文 参考訳（メタデータ） (2024-05-28T05:11:05Z) - Bayes meets Bernstein at the Meta Level: an Analysis of Fast Rates in
Meta-Learning with PAC-Bayes [6.961253535504979]
バーンスタインの条件は、機械学習における高速な速度を保証する重要な仮定である。
従来の$O(sqrtd_pi/n)$とは対照的に、$O(d_pi/n)$に余剰リスクがあることを示す。
論文 参考訳（メタデータ） (2023-02-23T00:07:03Z) - OPORP: One Permutation + One Random Projection [37.6593006747285]
OPORPは、データ縮小/圧縮を達成するために、count-sketch'型のデータ構造の一種を使用する。
1つの重要なステップは、$k$サンプルを$l$標準に正規化することだ。
OPORPでは、(i)正規化と(ii)固定長ビンニングスキームの2つの重要なステップが、コサイン類似性を推定する精度を大幅に改善した。
論文 参考訳（メタデータ） (2023-02-07T14:45:34Z) - Mind the gap: Achieving a super-Grover quantum speedup by jumping to the
end [114.3957763744719]
本稿では,数種類のバイナリ最適化問題に対して,厳密な実行保証を有する量子アルゴリズムを提案する。
このアルゴリズムは、$n$非依存定数$c$に対して、時間で$O*(2(0.5-c)n)$の最適解を求める。
また、$k$-spinモデルからのランダムなインスタンスの多数と、完全に満足あるいはわずかにフラストレーションされた$k$-CSP式に対して、文 (a) がそうであることを示す。
論文 参考訳（メタデータ） (2022-12-03T02:45:23Z) - Variance-Aware Sparse Linear Bandits [64.70681598741417]
余分な線形包帯に対する最悪のミニマックスは$widetildeThetaleft(sqrtdTright)$である。
ノイズがなく、アクションセットが単位球面である良性設定では、ディビジョン・アンド・コンカーを使用して、$widetildemathcal O(1)$ regretを達成することができる。
我々は,任意の分散対応線形帯域幅アルゴリズムを分散対応線形帯域幅アルゴリズムに変換する汎用フレームワークを開発した。
論文 参考訳（メタデータ） (2022-05-26T15:55:44Z) - SDP Achieves Exact Minimax Optimality in Phase Synchronization [19.909352968029584]
我々は、ノイズ測定$Y=z*z*+sigma WinmathbbCntimes ntimes nで位相同期問題を研究する。
SDPが誤差境界$ (1+o)fracnp22np$を2乗の$ell$損失で達成することを証明する。
論文 参考訳（メタデータ） (2021-01-07T03:14:05Z) - Sparse sketches with small inversion bias [79.77110958547695]
逆バイアスは、逆の共分散に依存する量の推定を平均化するときに生じる。
本研究では、確率行列に対する$(epsilon,delta)$-unbiased estimatorという概念に基づいて、逆バイアスを解析するためのフレームワークを開発する。
スケッチ行列 $S$ が密度が高く、すなわちサブガウスのエントリを持つとき、$(epsilon,delta)$-unbiased for $(Atop A)-1$ は $m=O(d+sqrt d/ のスケッチを持つ。
論文 参考訳（メタデータ） (2020-11-21T01:33:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。