論文の概要: ED-VAE: Entropy Decomposition of ELBO in Variational Autoencoders

• arxiv url: http://arxiv.org/abs/2407.06797v1
• Date: Tue, 9 Jul 2024 12:09:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 18:07:16.752714
• Title: ED-VAE: Entropy Decomposition of ELBO in Variational Autoencoders
• Title（参考訳）: ED-VAE:変分オートエンコーダにおけるELBOのエントロピー分解
• Authors: Fotios Lygerakis, Elmar Rueckert,
• Abstract要約: 変分オートエンコーダ(VAE)は、エビデンス・ロウアー・バウンド(ELBO)の定式化の制限によって制約される。 本研究は、エントロピーとクロスエントロピー成分を明示的に含むELBOの新たな再形式であるエントロピー分解変分オートエンコーダ(ED-VAE)を紹介する。
• 参考スコア（独自算出の注目度）: 0.850206009406913
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional Variational Autoencoders (VAEs) are constrained by the limitations of the Evidence Lower Bound (ELBO) formulation, particularly when utilizing simplistic, non-analytic, or unknown prior distributions. These limitations inhibit the VAE's ability to generate high-quality samples and provide clear, interpretable latent representations. This work introduces the Entropy Decomposed Variational Autoencoder (ED-VAE), a novel re-formulation of the ELBO that explicitly includes entropy and cross-entropy components. This reformulation significantly enhances model flexibility, allowing for the integration of complex and non-standard priors. By providing more detailed control over the encoding and regularization of latent spaces, ED-VAE not only improves interpretability but also effectively captures the complex interactions between latent variables and observed data, thus leading to better generative performance.
• Abstract（参考訳）: 従来の変分オートエンコーダ(VAE)は、エビデンス・ロウアー・バウンド(ELBO)の定式化の制限によって制約される。 これらの制限は、VAEが高品質なサンプルを生成し、明確で解釈可能な潜在表現を提供する能力を阻害する。 本研究は、エントロピーとクロスエントロピー成分を明示的に含むELBOの新たな再形式であるエントロピー分解変分オートエンコーダ(ED-VAE)を紹介する。 この改定によりモデルの柔軟性が大幅に向上し、複雑で非標準的な事前処理が統合される。 潜在空間の符号化と正規化に関するより詳細な制御を提供することで、ED-VAEは解釈可能性を改善するだけでなく、潜在変数と観測データの間の複雑な相互作用を効果的に捉え、それによって生成性能が向上する。

関連論文リスト

• Protect Before Generate: Error Correcting Codes within Discrete Deep Generative Models [3.053842954605396]
  本稿では,離散潜在変数モデルにおける変分推論を強化する新しい手法を提案する。 我々は誤り訂正符号(ECC)を活用し、潜伏表現に冗長性を導入する。 この冗長性は変分後部によって利用され、より正確な推定値が得られる。
  論文  参考訳（メタデータ） (2024-10-10T11:59:58Z)
• A Non-negative VAE:the Generalized Gamma Belief Network [49.970917207211556]
  ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。 本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。 また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-06T18:18:37Z)
• How to train your VAE [0.0]
  変分オートエンコーダ(VAE)は、機械学習における生成モデリングと表現学習の基盤となっている。 本稿では,ELBO(エビデンス・ロウアー・バウンド)における重要な構成要素であるKLディバージェンス(Kulback-Leibler)の解釈について検討する。 提案手法は, ELBOを後続確率のガウス混合体で再定義し, 正規化項を導入し, テクスチャリアリズムを高めるためにPatchGAN識別器を用いる。
  論文  参考訳（メタデータ） (2023-09-22T19:52:28Z)
• Curve Your Enthusiasm: Concurvity Regularization in Differentiable Generalized Additive Models [5.519653885553456]
  GAM(Generalized Additive Models)はその解釈可能性のために最近人気が回復した。 我々は,GAMの解釈可能性の低下がいかに深刻かを示す。 線形変換しない特徴変数の相互相関をペナルティ化した,概念的には単純だが効果的な正則化器を提案する。
  論文  参考訳（メタデータ） (2023-05-19T06:55:49Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via Intermediary Latents [60.785317191131284]
  本稿では,潜伏変数の中間集合を用いて,制御可能なバイアスでVAEを学習するための簡易かつ効果的な手法を提案する。 特に、学習した表現に対して、スパーシリティやクラスタリングといった望ましいプロパティを課すことができます。 これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
  論文  参考訳（メタデータ） (2021-06-25T16:34:05Z)
• VAE Approximation Error: ELBO and Conditional Independence [78.72292013299868]
  本稿では,ELBO目標とエンコーダ確率系列の選択の組み合わせによるVAE近似誤差を解析する。 より深いエンコーダネットワークを考慮すれば,ELBOサブセットを拡大することができず,各エラーを低減できないことを示す。
  論文  参考訳（メタデータ） (2021-02-18T12:54:42Z)
• Neural Decomposition: Functional ANOVA with Variational Autoencoders [9.51828574518325]
  変分オートエンコーダ (VAEs) は次元減少に対する一般的なアプローチとなっている。 VAEのブラックボックスの性質のため、医療やゲノミクスの応用には限界があった。 本研究では,条件付きVAEの変動源の特徴付けに焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-25T10:29:13Z)
• Stochastic Bottleneck: Rateless Auto-Encoder for Flexible Dimensionality Reduction [16.42183040840934]
  本稿では、フレキシブルな潜在次元を実現するために、レートレスオートエンコーダ(RL-AE)という新しい概念を提案する。 提案したRL-AEは低歪みを達成しつつ, 可変次元の低減を実現可能であることを実験的に実証した。
  論文  参考訳（メタデータ） (2020-05-06T14:47:42Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。