論文の概要: Gaussian Mixture Vector Quantization with Aggregated Categorical Posterior

• arxiv url: http://arxiv.org/abs/2410.10180v1
• Date: Mon, 14 Oct 2024 05:58:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 02:34:41.222130
• Title: Gaussian Mixture Vector Quantization with Aggregated Categorical Posterior
• Title（参考訳）: Aggregated Categorical Posteriorを用いたガウス混合ベクトル量子化
• Authors: Mingyuan Yan, Jiawei Wu, Rushi Shah, Dianbo Liu,
• Abstract要約: ベクトル量子化変分オートエンコーダ(VQ-VAE)を導入する。 VQ-VAEは、離散埋め込みを潜時として使用する変分オートエンコーダの一種である。 GM-VQは,手工芸品に頼らずに,コードブックの利用率を向上し,情報損失を低減する。
• 参考スコア（独自算出の注目度）: 5.862123282894087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The vector quantization is a widely used method to map continuous representation to discrete space and has important application in tokenization for generative mode, bottlenecking information and many other tasks in machine learning. Vector Quantized Variational Autoencoder (VQ-VAE) is a type of variational autoencoder using discrete embedding as latent. We generalize the technique further, enriching the probabilistic framework with a Gaussian mixture as the underlying generative model. This framework leverages a codebook of latent means and adaptive variances to capture complex data distributions. This principled framework avoids various heuristics and strong assumptions that are needed with the VQ-VAE to address training instability and to improve codebook utilization. This approach integrates the benefits of both discrete and continuous representations within a variational Bayesian framework. Furthermore, by introducing the \textit{Aggregated Categorical Posterior Evidence Lower Bound} (ALBO), we offer a principled alternative optimization objective that aligns variational distributions with the generative model. Our experiments demonstrate that GM-VQ improves codebook utilization and reduces information loss without relying on handcrafted heuristics.
• Abstract（参考訳）: ベクトル量子化は、連続表現を離散空間にマッピングするための広く使われている手法であり、生成モードのトークン化、ボトルネック情報、機械学習における多くのタスクに重要な応用がある。 ベクトル量子化変分オートエンコーダ(ベクトル量子化変分オートエンコーダ、VQ-VAE)は、離散埋め込みを潜時として使用する変分オートエンコーダの一種である。 我々はさらにこの手法を一般化し、ガウス混合を基礎となる生成モデルとして確率的枠組みを豊かにする。 このフレームワークは、遅延手段と適応分散のコードブックを利用して、複雑なデータ分散をキャプチャする。 この原則は、トレーニングの不安定性に対処し、コードブックの利用を改善するために、VQ-VAEで必要とされる様々なヒューリスティックや強い仮定を避ける。 このアプローチは、離散表現と連続表現の両方の利点を変分ベイズ的枠組みに統合する。 さらに,ALBO (the \textit{Aggregated Categorical Posterior Evidence Lower Bound}) を導入することで,変分分布と生成モデルとの整合性を示す。 実験の結果,GM-VQは手作りのヒューリスティックに頼らずに,コードブックの利用率の向上と情報損失の低減を図っている。

関連論文リスト

• Uniform Transformation: Refining Latent Representation in Variational Autoencoders [7.4316292428754105]
  本稿では,不規則な潜伏分布に対応するために,新しい適応型3段階一様変換(UT)モジュールを提案する。 この手法は不規則分布を潜在空間の均一分布に再構成することにより、潜在表現の絡み合いと解釈可能性を大幅に向上させる。 実験により,提案するUTモジュールの有効性を実証し,ベンチマークデータセット間の絡み合いの指標を改良した。
  論文  参考訳（メタデータ） (2024-07-02T21:46:23Z)
• How to train your VAE [0.0]
  変分オートエンコーダ(VAE)は、機械学習における生成モデリングと表現学習の基盤となっている。 本稿では,ELBO(エビデンス・ロウアー・バウンド)における重要な構成要素であるKLディバージェンス(Kulback-Leibler)の解釈について検討する。 提案手法は, ELBOを後続確率のガウス混合体で再定義し, 正規化項を導入し, テクスチャリアリズムを高めるためにPatchGAN識別器を用いる。
  論文  参考訳（メタデータ） (2023-09-22T19:52:28Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Straightening Out the Straight-Through Estimator: Overcoming Optimization Challenges in Vector Quantized Networks [35.6604960300194]
  本研究は,ベクトル量子化を用いたニューラルネットワークのストレートスルー推定による学習課題について検討する。 トレーニング不安定の主な原因は,モデル埋め込みとコードベクトル分布の相違である。 この問題に寄与する要因として,コードブックの勾配幅やコミットメント損失の非対称性などを挙げる。
  論文  参考訳（メタデータ） (2023-05-15T17:56:36Z)
• Vector Quantized Wasserstein Auto-Encoder [57.29764749855623]
  生成的視点から深層離散表現を学習する。 我々は,コードワード列上の離散分布を付与し,コードワード列上の分布をデータ分布に伝達する決定論的デコーダを学習する。 WS 距離のクラスタリングの観点と結びつけて,より優れた,より制御可能なクラスタリングソリューションを実現するための,さらなる理論を開発しています。
  論文  参考訳（メタデータ） (2023-02-12T13:51:36Z)
• A Sparsity-promoting Dictionary Model for Variational Autoencoders [16.61511959679188]
  深層生成モデルにおける潜伏空間の構造化は、より表現力のあるモデルと解釈可能な表現を得るために重要である。 本稿では,空間の空間構造をスパーシティ・プロモーティング・辞書・モデルを用いて簡易かつ効果的に構築する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-29T17:13:11Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Robust Training of Vector Quantized Bottleneck Models [21.540133031071438]
  ベクトル量子変分自動エンコーダモデル(VQ-VAEs)を用いた離散表現の信頼性と効率的な訓練法を示す。 教師なし表現学習では、変分オートエンコーダ(VAE)のような連続潜伏変数モデルの代替となる。
  論文  参考訳（メタデータ） (2020-05-18T08:23:41Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。