論文の概要: DiVeQ: Differentiable Vector Quantization Using the Reparameterization Trick

• arxiv url: http://arxiv.org/abs/2509.26469v1
• Date: Tue, 30 Sep 2025 16:17:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 14:45:00.199113
• Title: DiVeQ: Differentiable Vector Quantization Using the Reparameterization Trick
• Title（参考訳）: DiVeQ:再パラメータ化トリックを用いた微分ベクトル量子化
• Authors: Mohammad Hassan Vali, Tom Bäckström, Arno Solin,
• Abstract要約: 本稿では、量子化を量子化歪みを模倣する誤差ベクトルの追加として扱い、勾配の流れを保ちながら前方通過を困難にするDiVeQを提案する。 また,コードワードを接続する行によって構築された曲線を割り当てる空間充足型 (SF-DiVeQ) も提案する。
• 参考スコア（独自算出の注目度）: 24.345802081757995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vector quantization is common in deep models, yet its hard assignments block gradients and hinder end-to-end training. We propose DiVeQ, which treats quantization as adding an error vector that mimics the quantization distortion, keeping the forward pass hard while letting gradients flow. We also present a space-filling variant (SF-DiVeQ) that assigns to a curve constructed by the lines connecting codewords, resulting in less quantization error and full codebook usage. Both methods train end-to-end without requiring auxiliary losses or temperature schedules. On VQ-VAE compression and VQGAN generation across various data sets, they improve reconstruction and sample quality over alternative quantization approaches.
• Abstract（参考訳）: ベクトル量子化は深層モデルでは一般的であるが、そのハードアサインは勾配をブロックし、エンドツーエンドのトレーニングを妨げる。 本稿では、量子化を量子化歪みを模倣する誤差ベクトルの追加として扱い、勾配の流れを保ちながら前方通過を困難にするDiVeQを提案する。 また,コードワードを接続する行によって構築された曲線を割り当てる空間充足型 (SF-DiVeQ) も提案する。 どちらの方法も補助的な損失や温度スケジュールを必要とせずにエンドツーエンドで訓練する。 様々なデータセットにわたるVQ-VAE圧縮とVQGAN生成では、代替量子化アプローチよりも再構成とサンプル品質が向上する。

関連論文リスト

• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation [55.12070409045766]
  ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。 ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
  論文  参考訳（メタデータ） (2025-06-13T07:57:38Z)
• Restructuring Vector Quantization with the Rotation Trick [36.03697966463205]
  ベクトル量子化変分オートエンコーダ(VQ-VAE)は、連続的な入力を離散潜在空間に圧縮し、最小限の歪みで再構成するように設計されている。 ベクトル量子化は微分不可能であるため、エンコーダへの勾配はベクトル量子化層を通り抜けるのではなく、直線的な近似で流れる。 本稿では,VQ-VAEのベクトル量子化層を通じて勾配を伝搬する方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T23:39:34Z)
• Vector Quantization for Deep-Learning-Based CSI Feedback in Massive MIMO Systems [7.934232975873179]
  本稿では,大規模マルチインプットマルチアウトプット(MIMO)システムのための,有限レート深層学習(DL)に基づくチャネル状態情報(CSI)フィードバック手法を提案する。 提案手法は,ベクトル量子化変分オートエンコーダ(VQ-VAE)フレームワークに基づく潜在ベクトルの有限ビット表現を提供する。
  論文  参考訳（メタデータ） (2024-03-12T06:28:41Z)
• LL-VQ-VAE: Learnable Lattice Vector-Quantization For Efficient Representations [0.0]
  学習可能な格子ベクトル量子化を導入し、離散表現の学習に有効であることを示す。 LL-VQ-VAEと呼ばれるこの手法は、VQ-VAEのベクトル量子化層を格子ベースの離散化に置き換える。 VQ-VAEと比較して、同じトレーニング条件下での低い再構成誤差、短時間のトレーニング、一定数のパラメータで得られる。
  論文  参考訳（メタデータ） (2023-10-13T20:03:18Z)
• Soft Convex Quantization: Revisiting Vector Quantization with Convex Optimization [40.1651740183975]
  ベクトル量子化(VQ)の直接代用として,ソフト凸量子化(SCQ)を提案する。 SCQは微分凸最適化(DCO)層のように機能する。 CIFAR-10, GTSRB, LSUNデータセット上での有効性を示す。
  論文  参考訳（メタデータ） (2023-10-04T17:45:14Z)
• Improving Diffusion Models for Inverse Problems using Manifold Constraints [55.91148172752894]
  我々は,現在の解法がデータ多様体からサンプルパスを逸脱し,エラーが蓄積することを示す。 この問題に対処するため、多様体の制約に着想を得た追加の補正項を提案する。 本手法は理論上も経験上も従来の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-02T09:06:10Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• Q-Match: Iterative Shape Matching via Quantum Annealing [64.74942589569596]
  形状対応を見つけることは、NP-hard quadratic assignment problem (QAP)として定式化できる。 本稿では,アルファ拡大アルゴリズムに触発されたQAPの反復量子法Q-Matchを提案する。 Q-Match は、実世界の問題にスケールできるような長文対応のサブセットにおいて、反復的に形状マッチング問題に適用できる。
  論文  参考訳（メタデータ） (2021-05-06T17:59:38Z)
• Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training [99.42912552638168]
  勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。 本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。 最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
  論文  参考訳（メタデータ） (2020-02-25T18:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。