論文の概要: Rethinking VAE: From Continuous to Discrete Representations Without Probabilistic Assumptions

• arxiv url: http://arxiv.org/abs/2507.17255v1
• Date: Wed, 23 Jul 2025 06:52:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-24 22:33:14.886376
• Title: Rethinking VAE: From Continuous to Discrete Representations Without Probabilistic Assumptions
• Title（参考訳）: VAEの再考: 確率的仮定のない連続的な表現から離散的な表現へ
• Authors: Songxuan Shi,
• Abstract要約: 本研究では,変分オートエンコーダ(VAE)とベクトル量子変分オートエンコーダ(VQ-VAE)の相互接続を,再構成トレーニングフレームワークを通じて確立する。 本稿では,クラスタリングセンターを導入し,データのコンパクト性を高め,適切に定義された潜在空間を確保することを目的とした,VAEライクなトレーニング手法を提案する。 MNIST、CelebA、FashionMNISTのデータセットの実験結果は、滑らかな補間遷移を示すが、曖昧さは持続する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper explores the generative capabilities of Autoencoders (AEs) and establishes connections between Variational Autoencoders (VAEs) and Vector Quantized-Variational Autoencoders (VQ-VAEs) through a reformulated training framework. We demonstrate that AEs exhibit generative potential via latent space interpolation and perturbation, albeit limited by undefined regions in the encoding space. To address this, we propose a new VAE-like training method that introduces clustering centers to enhance data compactness and ensure well-defined latent spaces without relying on traditional KL divergence or reparameterization techniques. Experimental results on MNIST, CelebA, and FashionMNIST datasets show smooth interpolative transitions, though blurriness persists. Extending this approach to multiple learnable vectors, we observe a natural progression toward a VQ-VAE-like model in continuous space. However, when the encoder outputs multiple vectors, the model degenerates into a discrete Autoencoder (VQ-AE), which combines image fragments without learning semantic representations. Our findings highlight the critical role of encoding space compactness and dispersion in generative modeling and provide insights into the intrinsic connections between VAEs and VQ-VAEs, offering a new perspective on their design and limitations.
• Abstract（参考訳）: 本稿では,自動エンコーダ(AE)の生成能力について検討し,変分オートエンコーダ(VAE)とベクトル量子変分オートエンコーダ(VQ-VAE)の接続性を確立する。 AEsは符号化空間の未定義領域によって制限されるが、潜時空間補間と摂動を介して生成ポテンシャルを示すことを示す。 そこで本研究では,従来のKL分散や再パラメータ化技術に頼らずに,クラスタリングセンタを導入してデータのコンパクト性を高め,適切に定義された潜在空間を確保することを目的とした,VAEライクなトレーニング手法を提案する。 MNIST、CelebA、FashionMNISTのデータセットの実験結果は、滑らかな補間遷移を示すが、曖昧さは持続する。 このアプローチを複数の学習可能なベクトルに拡張し、連続空間におけるVQ-VAE様モデルへの自然な進行を観察する。 しかし、エンコーダが複数のベクトルを出力すると、モデルは離散オートエンコーダ(VQ-AE)に縮退する。 本研究は,VAEとVQ-VAEの密接な関係に関する知見を提供するとともに,空間のコンパクト性と分散を符号化することの重要性を強調した。

関連論文リスト

• Cross-Layer Discrete Concept Discovery for Interpreting Language Models [13.842670153893977]
  クロス層VQ-VAEは、ベクトル量子化を使用して層間の表現をマッピングするフレームワークである。 本手法は,量子化中のトップk温度に基づくサンプリングとEMAコードブック更新を一意に組み合わせる。
  論文  参考訳（メタデータ） (2025-06-24T22:43:36Z)
• Interpretable Spectral Variational AutoEncoder (ISVAE) for time series clustering [48.0650332513417]
  可変オートエンコーダ(VAE)の出力にフィルタバンク(FB)の解釈可能なボトルネックを組み込んだ新しいモデルを導入する。 このアレンジメントは、入力信号の最も情報性の高いセグメントに参加するためにVAEを補完する。 VAEをこのFBに故意に拘束することにより、識別可能で分離可能で次元が縮小した符号化の開発を促進する。
  論文  参考訳（メタデータ） (2023-10-18T13:06:05Z)
• How to train your VAE [0.0]
  変分オートエンコーダ(VAE)は、機械学習における生成モデリングと表現学習の基盤となっている。 本稿では,ELBO(エビデンス・ロウアー・バウンド)における重要な構成要素であるKLディバージェンス(Kulback-Leibler)の解釈について検討する。 提案手法は, ELBOを後続確率のガウス混合体で再定義し, 正規化項を導入し, テクスチャリアリズムを高めるためにPatchGAN識別器を用いる。
  論文  参考訳（メタデータ） (2023-09-22T19:52:28Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• Vector Quantized Wasserstein Auto-Encoder [57.29764749855623]
  生成的視点から深層離散表現を学習する。 我々は,コードワード列上の離散分布を付与し,コードワード列上の分布をデータ分布に伝達する決定論的デコーダを学習する。 WS 距離のクラスタリングの観点と結びつけて,より優れた,より制御可能なクラスタリングソリューションを実現するための,さらなる理論を開発しています。
  論文  参考訳（メタデータ） (2023-02-12T13:51:36Z)
• CCVS: Context-aware Controllable Video Synthesis [95.22008742695772]
  プレゼンテーションでは、古いビデオクリップから新しいビデオクリップを合成するための自己教師付き学習アプローチを紹介している。 時間的連続性のための文脈情報と微妙な制御のための補助情報に基づいて合成過程を規定する。
  論文  参考訳（メタデータ） (2021-07-16T17:57:44Z)
• Neighbor Embedding Variational Autoencoder [14.08587678497785]
  本稿では,入力空間に近接する入力を符号化するために,エンコーダを明示的に制約する新しいモデルであるVAE(NE-VAE)を提案する。 我々の実験では、NE-VAEは定性的に異なる潜伏表現を生成できるが、ほとんどの潜伏次元はアクティブのままである。
  論文  参考訳（メタデータ） (2021-03-21T09:49:12Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。