論文の概要: TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate
- arxiv url: http://arxiv.org/abs/2504.19874v1
- Date: Mon, 28 Apr 2025 15:05:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.487153
- Title: TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate
- Title（参考訳）: TurboQuant: ほぼ最適歪み率を持つオンラインベクトル量子化
- Authors: Amir Zandieh, Majid Daliri, Majid Hadian, Vahab Mirrokni,
- Abstract要約: ベクトル量子化は、その幾何学構造における歪みを最小限にしながら、高次元ユークリッドベクトルを定量化することを目的としている。
平均二乗誤差(MSE)と内積歪みに対処するTurboQuantを提案する。
オンラインアプリケーションに適したデータ公開アルゴリズムは、ほぼ最適な歪み率を達成する。
- 参考スコア（独自算出の注目度）: 13.14434628836727
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vector quantization, a problem rooted in Shannon's source coding theory, aims to quantize high-dimensional Euclidean vectors while minimizing distortion in their geometric structure. We propose TurboQuant to address both mean-squared error (MSE) and inner product distortion, overcoming limitations of existing methods that fail to achieve optimal distortion rates. Our data-oblivious algorithms, suitable for online applications, achieve near-optimal distortion rates (within a small constant factor) across all bit-widths and dimensions. TurboQuant achieves this by randomly rotating input vectors, inducing a concentrated Beta distribution on coordinates, and leveraging the near-independence property of distinct coordinates in high dimensions to simply apply optimal scalar quantizers per each coordinate. Recognizing that MSE-optimal quantizers introduce bias in inner product estimation, we propose a two-stage approach: applying an MSE quantizer followed by a 1-bit Quantized JL (QJL) transform on the residual, resulting in an unbiased inner product quantizer. We also provide a formal proof of the information-theoretic lower bounds on best achievable distortion rate by any vector quantizer, demonstrating that TurboQuant closely matches these bounds, differing only by a small constant ($\approx 2.7$) factor. Experimental results validate our theoretical findings, showing that for KV cache quantization, we achieve absolute quality neutrality with 3.5 bits per channel and marginal quality degradation with 2.5 bits per channel. Furthermore, in nearest neighbor search tasks, our method outperforms existing product quantization techniques in recall while reducing indexing time to virtually zero.
- Abstract（参考訳）: シャノンの原符号理論に根ざした問題であるベクトル量子化は、幾何学構造における歪みを最小限にしながら、高次元ユークリッドベクトルを定量化することを目的としている。
本稿では,平均二乗誤差(MSE)と内積歪みに対処するTurboQuantを提案する。
オンラインアプリケーションに適した我々のデータ公開アルゴリズムは、すべてのビット幅と次元にわたって(小さな定数係数で)ほぼ最適な歪み率を達成する。
TurboQuantは、入力ベクトルをランダムに回転させ、座標に集中したベータ分布を誘導し、高次元における異なる座標の近距離特性を活用して、各座標に最適なスカラー量子化器を適用する。
MSE-最適量子化器が内部積推定にバイアスをもたらすことを認識し、MSE量子化器と1ビット量子化JL(QJL)変換を適用した2段階のアプローチを提案する。
また、任意のベクトル量子化器による最も達成可能な歪み率に関する情報理論の下界の形式的証明も提供し、TurboQuantがこれらの境界と密に一致し、小さな定数(2.7$)因子によってのみ異なることを示す。
実験の結果,KVキャッシュの量子化では,チャネル毎3.5ビットで絶対品質中立性,チャネル毎2.5ビットで限界品質劣化を達成できた。
さらに, 隣接探索タスクでは, インデックス化時間をゼロに抑えながら, 既存の製品量化手法よりも優れていた。
関連論文リスト
- Adaptive variational quantum dynamics simulations with compressed circuits and fewer measurements [4.2643127089535104]
AVQDS(T)と呼ばれる適応変分量子力学シミュレーション(AVQDS)法の改良版を示す。
このアルゴリズムは、変分力学の精度の尺度であるマクラクラン距離を一定しきい値以下に保つために、アンザッツ回路に不連結なユニタリゲートの層を適応的に加算する。
また、雑音耐性を増強した変動パラメータに対する線形運動方程式を解くために、固有値トランケーションに基づく手法を示す。
論文 参考訳（メタデータ） (2024-08-13T02:56:43Z) - Fast Flux-Activated Leakage Reduction for Superconducting Quantum
Circuits [84.60542868688235]
量子ビット実装のマルチレベル構造から生じる計算部分空間から漏れること。
パラメトリックフラックス変調を用いた超伝導量子ビットの資源効率向上のためのユニバーサルリーク低減ユニットを提案する。
繰り返し重み付け安定化器測定におけるリーク低減ユニットの使用により,検出されたエラーの総数を,スケーラブルな方法で削減できることを実証した。
論文 参考訳（メタデータ） (2023-09-13T16:21:32Z) - Randomized semi-quantum matrix processing [0.0]
汎用行列関数をシミュレートするためのハイブリッド量子古典的フレームワークを提案する。
この方法は、対象関数のチェビシェフ近似上のランダム化に基づいている。
コストのかかるパラメータの2次高速化を含む,平均深度に対する利点を実証する。
論文 参考訳（メタデータ） (2023-07-21T18:00:28Z) - Quantum Worst-Case to Average-Case Reductions for All Linear Problems [66.65497337069792]
量子アルゴリズムにおける最悪のケースと平均ケースの削減を設計する問題について検討する。
量子アルゴリズムの明示的で効率的な変換は、入力のごく一部でのみ正し、全ての入力で正しくなる。
論文 参考訳（メタデータ） (2022-12-06T22:01:49Z) - Quantum Sparse Coding [5.130440339897477]
我々はスパース符号化のための量子インスピレーション付きアルゴリズムを開発した。
量子コンピュータとイジングマシンの出現は、より正確な推定につながる可能性がある。
我々はLightrの量子インスパイアされたデジタルプラットフォーム上でシミュレーションデータを用いて数値実験を行う。
論文 参考訳（メタデータ） (2022-09-08T13:00:30Z) - On One-Bit Quantization [27.057313611640918]
低次元構造を示す連続時間ランダムプロセスに対して最適な1ビット量子化器を特徴付ける。
この最適量子化器は、勾配降下法により訓練されたニューラルネットワークベースの圧縮機によって見つかることが数値的に示されている。
論文 参考訳（メタデータ） (2022-02-10T19:07:06Z) - Mixed Precision Low-bit Quantization of Neural Network Language Models
for Speech Recognition [67.95996816744251]
長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。
現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。
本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
論文 参考訳（メタデータ） (2021-11-29T12:24:02Z) - Distance-aware Quantization [30.06895253269116]
量子化法では、全精度を最も近い量子化値にマッピングするために丸い関数を用いる。
距離対応量子化器 (DAQ) は, 距離対応ソフトラウンドリング (DASR) と温度制御器から構成される。
論文 参考訳（メタデータ） (2021-08-16T09:25:22Z) - Realization of arbitrary doubly-controlled quantum phase gates [62.997667081978825]
本稿では,最適化問題における短期量子優位性の提案に着想を得た高忠実度ゲートセットを提案する。
3つのトランペット四重項のコヒーレントな多レベル制御を編成することにより、自然な3量子ビット計算ベースで作用する決定論的連続角量子位相ゲートの族を合成する。
論文 参考訳（メタデータ） (2021-08-03T17:49:09Z) - Variational Quantum Optimization with Multi-Basis Encodings [62.72309460291971]
マルチバスグラフ複雑性と非線形活性化関数の2つの革新の恩恵を受ける新しい変分量子アルゴリズムを導入する。
その結果,最適化性能が向上し,有効景観が2つ向上し,測定の進歩が減少した。
論文 参考訳（メタデータ） (2021-06-24T20:16:02Z) - Efficient and robust certification of genuine multipartite entanglement
in noisy quantum error correction circuits [58.720142291102135]
実効多部絡み(GME)認証のための条件付き目撃手法を導入する。
線形な二分割数における絡み合いの検出は, 多数の測定値によって線形にスケールし, GMEの認証に十分であることを示す。
本手法は, 距離3の位相的カラーコードとフラグベースの耐故障バージョンにおける安定化作用素の雑音可読化に適用する。
論文 参考訳（メタデータ） (2020-10-06T18:00:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。