論文の概要: NSVQ: Mitigating Codebook Collapse by Stabilizing Encoder Drift in Vector Quantization

• arxiv url: http://arxiv.org/abs/2606.11363v1
• Date: Tue, 09 Jun 2026 18:43:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.144369
• Title: NSVQ: Mitigating Codebook Collapse by Stabilizing Encoder Drift in Vector Quantization
• Title（参考訳）: NSVQ: ベクトル量子化におけるエンコーダドリフト安定化によるコードブックの崩壊の軽減
• Authors: Hao Lu, Yongxin Guo, Onur Koyun, Zhengjie Zhu, Abbas Alili, Metin N. Gurcan,
• Abstract要約: NSVQは、高密度な非定常埋め込み損失、コードブック置換、ステージワイドエンコーダ凍結を組み合わせた非定常VQトレーニング戦略である。 ImageNet-1kの実験では、NSVQは完全なコードブック使用率を維持しながら再構築品質を向上させる。
• 参考スコア（独自算出の注目度）: 12.305907179979426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vector quantization is central to modern generative modeling pipelines, but large-codebook VQ models often suffer from codebook collapse. We identify encoder drift as a key driver of this failure: as the encoder moves the latent distribution, sparsely updated code vectors can lag behind, lose assignments, and increase quantization error, creating a feedback loop through the straight-through estimator. We propose NSVQ, a non-stationary-aware VQ training strategy that combines a dense non-stationary embedding loss, codebook replacement, and stage-wise encoder freezing. NSVQ first helps the codebook track encoder drift during early training, then freezes the encoder to consolidate the codebook under a fixed latent geometry, and finally reintroduces adversarial refinement. Experiments on ImageNet-1k show that NSVQ improves reconstruction quality while maintaining full codebook utilization. On ImageNet-1k at 128$\times$128 with 65,536 codes, NSVQ reduces rFID from 2.39 to 2.10 compared with SimVQ, while both methods maintain 100\% utilization. Additional latent diffusion experiments show that NSVQ also improves downstream ImageNet generation FID.
• Abstract（参考訳）: ベクトル量子化は現代の生成モデリングパイプラインの中心であるが、大容量のVQモデルはコードブックの崩壊に悩まされることが多い。 エンコーダのドリフトが遅延分布を移動させると、わずかに更新されたコードベクトルが遅延し、代入が失われ、量子化エラーが増大し、ストレートスルー推定器を通してフィードバックループが生成される。 NSVQは、高密度な非定常埋め込み損失、コードブック置換、ステージワイドエンコーダ凍結を組み合わせた非定常VQトレーニング戦略である。 NSVQはまず、初期のトレーニング中にコードブックトラックエンコーダがドリフトするのを手助けし、次にエンコーダを凍結して固定された潜在幾何学の下でコードブックを統合する。 ImageNet-1kの実験では、NSVQは完全なコードブック使用率を維持しながら再構築品質を向上させる。 ImageNet-1kの128$\times$128と65,536のコードでは、NSVQはSimVQと比較してrFIDを2.39から2.10に削減する。 追加の潜伏拡散実験では、NSVQは下流のイメージネット生成FIDも改善している。

関連論文リスト

• Beyond Stationarity: Rethinking Codebook Collapse in Vector Quantization [12.305907179979426]
  エンコーダがドリフトすると、未選択のコードベクトルは更新を受け取れなくなり、徐々に非アクティブになる。 そこで我々は,NSVQ(Non-Stationary Vector Quantization)とTransformer-based Vector Quantization(TransVQ)の2つの新しい手法を提案する。 CelebA-HQデータセットの実験では、どちらの手法もほぼ完全なコードブックの利用と再現性の向上を実現している。
  論文  参考訳（メタデータ） (2026-02-21T16:36:50Z)
• VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction [83.50898344094153]
  VQRAEは、イメージ理解のための連続的セマンティック機能と、統一トークン化器内での視覚生成のためのトークンを生成する。 デザインは、多モーダル理解、離散トークンの能力を維持するために、無視可能な意味情報を可能にする。 VQRAEは、視覚的理解、生成、再構築のベンチマークで競合性能を示す。
  論文  参考訳（メタデータ） (2025-11-28T17:26:34Z)
• Scalable Training for Vector-Quantized Networks with 100% Codebook Utilization [60.294965457786844]
  ベクトル量子化(VQ)は、画像生成のための離散トークン化器において重要な要素である。 VQBridgeは、地図関数法に基づく堅牢でスケーラブルで効率的なプロジェクタである。 FVQは262kのコードブックでも100%のコードブック利用が可能である。
  論文  参考訳（メタデータ） (2025-09-12T11:08:21Z)
• Spectrogram Patch Codec: A 2D Block-Quantized VQ-VAE and HiFi-GAN for Neural Speech Coding [0.0]
  本稿では, 複雑な残差ベクトル量子化スタックの必要性に対して, より単純な単一段階量子化アプローチを導入することにより, ニューラルスピーチを提案する。 本手法は,メル・スペクトログラムを直接操作し,それを2次元データとして扱い,重複しない4x4パッチを1つの共有コードブックに定量化する。 このパッチワイズ設計はアーキテクチャを単純化し、低レイテンシのストリーミングを可能にし、離散遅延グリッドを生成する。
  論文  参考訳（メタデータ） (2025-09-02T12:14:41Z)
• Scalable Image Tokenization with Index Backpropagation Quantization [74.15447383432262]
  インデックスバックプロパゲーション量子化(IBQ)は、すべてのコードブック埋め込みとビジュアルエンコーダの共同最適化のための新しいVQ手法である。 IBQは、ビジュアルトークンのスケーラブルなトレーニングを可能にし、初めて、高次元(256ドル)で高利用率の大規模コードブックを実現する。
  論文  参考訳（メタデータ） (2024-12-03T18:59:10Z)
• Online Clustered Codebook [100.1650001618827]
  オンラインコードブック学習のための簡単な代替手法であるClustering VQ-VAE(CVQ-VAE)を提案する。 弊社のアプローチでは、コード化された機能をアンカーとして選択し、デッドのコードベクタを更新すると同時に、元の損失によって生存しているコードブックを最適化する。 私たちのCVQ-VAEは、ほんの数行のコードで既存のモデルに簡単に統合できます。
  論文  参考訳（メタデータ） (2023-07-27T18:31:04Z)
• VQFR: Blind Face Restoration with Vector-Quantized Dictionary and Parallel Decoder [83.63843671885716]
  本稿では,VQFRを用いた顔復元手法を提案する。 VQFRは高品質な顔から抽出された高品質の低レベル特徴バンクを利用する。 VQコードブックから生成されたリアルな詳細を「汚染」せず、入力から低レベルな特徴をさらに融合させるため、並列デコーダを提案する。
  論文  参考訳（メタデータ） (2022-05-13T17:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。