論文の概要: Vector Quantization using Gaussian Variational Autoencoder

• arxiv url: http://arxiv.org/abs/2512.06609v1
• Date: Sun, 07 Dec 2025 00:57:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.430268
• Title: Vector Quantization using Gaussian Variational Autoencoder
• Title（参考訳）: ガウス変分オートエンコーダを用いたベクトル量子化
• Authors: Tongda Xu, Wendi Zheng, Jiajun He, Jose Miguel Hernandez-Lobato, Yan Wang, Ya-Qin Zhang, Jie Tang,
• Abstract要約: ベクトル量子化変分オートエンコーダ(VQ-VAE)は、画像を離散トークンに圧縮する離散自動エンコーダである。 本稿では,ガウス量子(GQ)と呼ばれる手法を提案する。これは,ガウスのVAEを一定の制約で訓練せずにVQ-VAEに変換する手法である。
• 参考スコア（独自算出の注目度）: 30.582985195684028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vector quantized variational autoencoder (VQ-VAE) is a discrete auto-encoder that compresses images into discrete tokens. It is difficult to train due to discretization. In this paper, we propose a simple yet effective technique, dubbed Gaussian Quant (GQ), that converts a Gaussian VAE with certain constraint into a VQ-VAE without training. GQ generates random Gaussian noise as a codebook and finds the closest noise to the posterior mean. Theoretically, we prove that when the logarithm of the codebook size exceeds the bits-back coding rate of the Gaussian VAE, a small quantization error is guaranteed. Practically, we propose a heuristic to train Gaussian VAE for effective GQ, named target divergence constraint (TDC). Empirically, we show that GQ outperforms previous VQ-VAEs, such as VQGAN, FSQ, LFQ, and BSQ, on both UNet and ViT architectures. Furthermore, TDC also improves upon previous Gaussian VAE discretization methods, such as TokenBridge. The source code is provided in https://github.com/tongdaxu/VQ-VAE-from-Gaussian-VAE.
• Abstract（参考訳）: ベクトル量子化変分オートエンコーダ(VQ-VAE)は、画像を離散トークンに圧縮する離散自動エンコーダである。 差別化のため訓練は困難である。 本稿では,ガウス的量子(GQ)と呼ばれる,ガウス的VAEを訓練なしでVQ-VAEに変換する,単純で効果的な手法を提案する。 GQはランダムなガウスノイズをコードブックとして生成し、後部平均に最も近いノイズを求める。 理論的には、コードブックサイズがガウスVAEのビットバック符号化率を超えると、小さな量子化誤差が保証される。 そこで本研究では,目標分散制約 (TDC) と命名されたGQに対して,ガウスVAEを訓練するためのヒューリスティックな手法を提案する。 VQGAN,FSQ,LFQ,BSQといった従来のVQ-VAEよりも,UNetおよびViTアーキテクチャの方が優れていることを示す。 さらに、TDCはTokenBridgeのような従来のガウスVAE離散化手法も改善している。 ソースコードはhttps://github.com/tongdaxu/VQ-VAE-from-Gaussian-VAEで公開されている。

関連論文リスト

• Efficient Gaussian State Preparation in Quantum Circuits [4.930778301847907]
  本稿では,1キュービット回転から始まって指数振幅プロファイルを形成する回路ベースアプローチを提案し,解析する。 この手法がガウス状態と高い忠実性を達成することを実証する。 提案手法は、ガウス状態がノイズの多い量子ハードウェア上でアクセスできるようにするための有望な方法であると結論付けている。
  論文  参考訳（メタデータ） (2025-07-27T15:15:20Z)
• GaussianToken: An Effective Image Tokenizer with 2D Gaussian Splatting [64.84383010238908]
  本稿では,2次元ガウススプラッティングを解法とする効果的な画像トークン化手法を提案する。 一般に、我々のフレームワークは、2次元ガウス分布の局所的な影響を離散空間に統合する。 CIFAR, Mini-Net, ImageNet-1K 上での競合的再構成性能は,我々のフレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2025-01-26T17:56:11Z)
• HyperVQ: MLR-based Vector Quantization in Hyperbolic Space [56.4245885674567]
  一般的な解決策は、VQ変分オートエンコーダ(VQVAE)にベクトル量子化(VQ)を採用することである。 本稿では,双曲型多相ロジスティック回帰(MLR)問題としてVQを定式化する新しい手法であるHyperVQを紹介する。 本実験は,HyperVQが従来のVQに比較し,識別性能を上回りながら,生成・再構成タスクに適合することを示した。
  論文  参考訳（メタデータ） (2024-03-18T03:17:08Z)
• Soft Convex Quantization: Revisiting Vector Quantization with Convex Optimization [40.1651740183975]
  ベクトル量子化(VQ)の直接代用として,ソフト凸量子化(SCQ)を提案する。 SCQは微分凸最適化(DCO)層のように機能する。 CIFAR-10, GTSRB, LSUNデータセット上での有効性を示す。
  論文  参考訳（メタデータ） (2023-10-04T17:45:14Z)
• Online Clustered Codebook [100.1650001618827]
  オンラインコードブック学習のための簡単な代替手法であるClustering VQ-VAE(CVQ-VAE)を提案する。 弊社のアプローチでは、コード化された機能をアンカーとして選択し、デッドのコードベクタを更新すると同時に、元の損失によって生存しているコードブックを最適化する。 私たちのCVQ-VAEは、ほんの数行のコードで既存のモデルに簡単に統合できます。
  論文  参考訳（メタデータ） (2023-07-27T18:31:04Z)
• GMConv: Modulating Effective Receptive Fields for Convolutional Kernels [52.50351140755224]
  畳み込みニューラルネットワークでは、固定N$times$N受容場(RF)を持つ正方形カーネルを用いて畳み込みを行う。 ERFが通常ガウス分布を示す性質に着想を得て,本研究でガウス・マスク畳み込みカーネル(GMConv)を提案する。 私たちのGMConvは、既存のCNNの標準の畳み込みを直接置き換えることができ、標準のバックプロパゲーションによって、エンドツーエンドで簡単に訓練することができます。
  論文  参考訳（メタデータ） (2023-02-09T10:17:17Z)
• Markovian Gaussian Process Variational Autoencoders [19.686719654642392]
  我々はマルコフ型GPの等価離散状態空間表現を活用し、カルマンフィルタと平滑化による線形時間 GPVAE トレーニングを可能にする。 我々のモデルであるMGPVAE(Markovian GPVAE)では,従来の手法と比較して,多種多様な高次元時間的課題を示す。
  論文  参考訳（メタデータ） (2022-07-12T14:10:01Z)
• SQ-VAE: Variational Bayes on Discrete Representation with Self-annealed Stochastic Quantization [13.075574481614478]
  ベクトル量子化変分オートエンコーダ(VQ-VAE)の注目すべき問題は、学習された離散表現がコードブックの全容量のごく一部しか使用していないことである。 本稿では,新しい量子化法と量子化法により,標準VAEを拡張した新しいトレーニング手法を提案する。 実験の結果,SQ-VAEはコモンズを使わずにコードブックの利用を改善することがわかった。
  論文  参考訳（メタデータ） (2022-05-16T09:49:37Z)
• Simple and Effective VAE Training with Calibrated Decoders [123.08908889310258]
  変分オートエンコーダ(VAE)は、複雑な分布をモデル化するための効果的で簡単な方法である。 復号分布の不確かさを学習する校正復号器の影響について検討する。 本稿では,一般的なガウス復号器の簡易かつ斬新な修正を提案し,その予測分散を解析的に計算する。
  論文  参考訳（メタデータ） (2020-06-23T17:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。