論文の概要: Enhancing Vector Quantization with Distributional Matching: A Theoretical and Empirical Study
- arxiv url: http://arxiv.org/abs/2506.15078v1
- Date: Wed, 18 Jun 2025 02:43:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-19 19:35:51.527982
- Title: Enhancing Vector Quantization with Distributional Matching: A Theoretical and Empirical Study
- Title（参考訳）: 分布マッチングによるベクトル量子化の促進:理論的および実証的研究
- Authors: Xianghong Fang, Litao Guo, Hengchao Chen, Yuxuan Zhang, XiaofanXia, Dingjie Song, Yexin Liu, Hao Wang, Harry Yang, Yuan Yuan, Qiang Sun,
- Abstract要約: ベクトル量子化法における2つの重要な問題は、トレーニング不安定性とコードブックの崩壊である。
We use the Wasserstein distance to conforms these two distributions, achieve almost 100% codebook utilization。
実験的および理論的解析により,提案手法の有効性が検証された。
- 参考スコア（独自算出の注目度）: 19.74160064041426
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The success of autoregressive models largely depends on the effectiveness of vector quantization, a technique that discretizes continuous features by mapping them to the nearest code vectors within a learnable codebook. Two critical issues in existing vector quantization methods are training instability and codebook collapse. Training instability arises from the gradient discrepancy introduced by the straight-through estimator, especially in the presence of significant quantization errors, while codebook collapse occurs when only a small subset of code vectors are utilized during training. A closer examination of these issues reveals that they are primarily driven by a mismatch between the distributions of the features and code vectors, leading to unrepresentative code vectors and significant data information loss during compression. To address this, we employ the Wasserstein distance to align these two distributions, achieving near 100\% codebook utilization and significantly reducing the quantization error. Both empirical and theoretical analyses validate the effectiveness of the proposed approach.
- Abstract（参考訳）: 自己回帰モデルの成功は、学習可能なコードブック内の最も近いコードベクトルにマッピングすることで連続的な特徴を識別する手法であるベクトル量子化の有効性に大きく依存する。
既存のベクトル量子化法における2つの重要な問題は、トレーニング不安定性とコードブックの崩壊である。
トレーニングの不安定性は、ストレートスルー推定器によって導入された勾配誤差、特に有意な量子化誤差の存在によって生じる。
これらの問題を詳しく調べると、主に特徴とコードベクトルの分布のミスマッチによって駆動され、非表現的なコードベクトルと圧縮中の重要なデータ情報損失につながることが分かる。
これを解決するために、ワッサーシュタイン距離を用いてこの2つの分布を整列し、100倍近いコードブック利用を実現し、量子化誤差を著しく低減する。
実験的および理論的解析により,提案手法の有効性が検証された。
関連論文リスト
- Representation Collapsing Problems in Vector Quantization [2.2750239768387255]
ベクトル量子化は、連続表現を離散ベクトルの集合に離散化する機械学習の技法である。
その頻度にもかかわらず、生成モデルにおけるベクトル量子化の特性と振舞いは、ほとんど未解明のままである。
論文 参考訳（メタデータ） (2024-11-25T16:32:29Z) - QGait: Toward Accurate Quantization for Gait Recognition with Binarized Input [17.017127559393398]
バックプロパゲーション時の円関数の勾配をよりよくシミュレートする,微分可能なソフト量子化器を提案する。
これにより、ネットワークは微妙な入力摂動から学習することができる。
量子化エラーをシミュレートしながら収束を確保するためのトレーニング戦略をさらに洗練する。
論文 参考訳（メタデータ） (2024-05-22T17:34:18Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳（メタデータ） (2023-05-28T06:30:29Z) - Straightening Out the Straight-Through Estimator: Overcoming
Optimization Challenges in Vector Quantized Networks [35.6604960300194]
本研究は,ベクトル量子化を用いたニューラルネットワークのストレートスルー推定による学習課題について検討する。
トレーニング不安定の主な原因は,モデル埋め込みとコードベクトル分布の相違である。
この問題に寄与する要因として,コードブックの勾配幅やコミットメント損失の非対称性などを挙げる。
論文 参考訳（メタデータ） (2023-05-15T17:56:36Z) - Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。
決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。
本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-11T15:20:54Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-02-28T13:01:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。