論文の概要: Symmetric Equilibrium Learning of VAEs
- arxiv url: http://arxiv.org/abs/2307.09883v2
- Date: Tue, 12 Mar 2024 12:20:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 02:06:51.490670
- Title: Symmetric Equilibrium Learning of VAEs
- Title(参考訳): VAEの対称平衡学習
- Authors: Boris Flach and Dmitrij Schlesinger and Alexander Shekhovtsov
- Abstract要約: 可変オートエンコーダ(VAE)をデコーダ-エンコーダペアとみなし,データ空間内の分布を潜在空間内の分布にマッピングする。
本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
- 参考スコア(独自算出の注目度): 56.56929742714685
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We view variational autoencoders (VAE) as decoder-encoder pairs, which map
distributions in the data space to distributions in the latent space and vice
versa. The standard learning approach for VAEs is the maximisation of the
evidence lower bound (ELBO). It is asymmetric in that it aims at learning a
latent variable model while using the encoder as an auxiliary means only.
Moreover, it requires a closed form a-priori latent distribution. This limits
its applicability in more complex scenarios, such as general semi-supervised
learning and employing complex generative models as priors. We propose a Nash
equilibrium learning approach, which is symmetric with respect to the encoder
and decoder and allows learning VAEs in situations where both the data and the
latent distributions are accessible only by sampling. The flexibility and
simplicity of this approach allows its application to a wide range of learning
scenarios and downstream tasks.
- Abstract(参考訳): 我々は変分オートエンコーダ(vae)をデコーダとエンコーダのペアとして捉え、データ空間内の分布を潜在空間内の分布にマップし、その逆も行う。
VAEの標準的な学習方法は、エビデンスローバウンド(ELBO)の最大化である。
エンコーダを補助手段としてのみ使用しながら潜在変数モデルを学習することが目的であることは非対称である。
さらに、閉じた形式のa-priori 潜在分布も必要である。
これにより、一般的な半教師付き学習や複雑な生成モデルなど、より複雑なシナリオでの適用性が制限される。
本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
このアプローチの柔軟性とシンプルさにより、幅広い学習シナリオとダウンストリームタスクに応用することができる。
関連論文リスト
- SimPro: A Simple Probabilistic Framework Towards Realistic Long-Tailed Semi-Supervised Learning [49.94607673097326]
ラベルなしデータの分散に関する前提を前提としない、高度に適応可能なフレームワークをSimProとして提案する。
我々のフレームワークは確率モデルに基づいており、期待最大化アルゴリズムを革新的に洗練する。
本手法は,様々なベンチマークやデータ分散シナリオにまたがる一貫した最先端性能を示す。
論文 参考訳(メタデータ) (2024-02-21T03:39:04Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳(メタデータ) (2023-05-28T06:30:29Z) - Variational Diffusion Auto-encoder: Latent Space Extraction from
Pre-trained Diffusion Models [0.0]
可変オートエンコーダ(VAE)は、生成された画像の品質の問題に直面し、しばしば目立った曖昧さを示す。
この問題は、条件付きデータ分布を近似する非現実的な仮定である $p(textbfx | textbfz)$ が等方ガウス的であることに由来する。
本稿では,エンコーダを最適化することにより,既存の拡散モデルから潜在空間を抽出し,限界データのログ化を最大化する方法について述べる。
論文 参考訳(メタデータ) (2023-04-24T14:44:47Z) - Distributional Learning of Variational AutoEncoder: Application to
Synthetic Data Generation [0.7614628596146602]
本稿では,VAEフレームワークの計算上の利点を犠牲にすることなく,モデル容量を拡大する手法を提案する。
VAEモデルのデコーダは、非対称ラプラス分布の無限混合からなる。
提案したモデルを合成データ生成に適用し,特にデータプライバシの調整が容易であることを示す。
論文 参考訳(メタデータ) (2023-02-22T11:26:50Z) - Diffusion bridges vector quantized Variational AutoEncoders [0.0]
我々のモデルは,ミニイメージネットデータセットに先行する自己回帰と競合することを示す。
我々のフレームワークは、標準のVQ-VAEを拡張し、エンドツーエンドのトレーニングを可能にします。
論文 参考訳(メタデータ) (2022-02-10T08:38:12Z) - InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via
Intermediary Latents [60.785317191131284]
本稿では,潜伏変数の中間集合を用いて,制御可能なバイアスでVAEを学習するための簡易かつ効果的な手法を提案する。
特に、学習した表現に対して、スパーシリティやクラスタリングといった望ましいプロパティを課すことができます。
これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
論文 参考訳(メタデータ) (2021-06-25T16:34:05Z) - Re-parameterizing VAEs for stability [1.90365714903665]
本稿では,変分オートエンコーダ(VAE)の数値安定性を訓練するための理論的アプローチを提案する。
我々の研究は、VAEが複雑な画像データセット上のアート生成結果に到達できるようにするための最近の研究によって動機づけられている。
我々は、それらが依存する正規分布のパラメータ化方法に小さな変更を加えることで、VAEを安全にトレーニングできることを示します。
論文 参考訳(メタデータ) (2021-06-25T16:19:09Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳(メタデータ) (2020-12-07T14:16:14Z) - Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled
Markov Chains [34.77971292478243]
変分オートエンコーダ(VAE)は、オートエンコーダのようなアーキテクチャで2つのニューラルネットワークを持つ、潜伏変数モデルである。
ログ型勾配の偏りのない推定器を導入することにより,VAEのトレーニング手法を開発する。
偏りのない推定器を装着したVAEは予測性能が向上することを示した。
論文 参考訳(メタデータ) (2020-10-05T08:11:55Z) - Variational Hyper-Encoding Networks [62.74164588885455]
ニューラルネットワークパラメータの分布を符号化するHyperVAEというフレームワークを提案する。
遅延符号の後部分布を予測し,行列ネットワークデコーダを用いて後部分布q(theta)を生成する。
論文 参考訳(メタデータ) (2020-05-18T06:46:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。