論文の概要: Soft-IntroVAE: Analyzing and Improving the Introspective Variational Autoencoder

• arxiv url: http://arxiv.org/abs/2012.13253v2
• Date: Thu, 25 Mar 2021 07:12:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 08:27:07.997054
• Title: Soft-IntroVAE: Analyzing and Improving the Introspective Variational Autoencoder
• Title（参考訳）: soft-introvae:introspective variational autoencoderの分析と改善
• Authors: Tal Daniel and Aviv Tamar
• Abstract要約: Soft-IntroVAEは、生成されたサンプルのスムーズな指数的損失でヒンジ損失項を置き換える修正されたIntroVAEです。 我々は、IntroVAEがデータ分布とエントロピー項からのKL距離の合計を最小化する分布に収束することを示した。 本稿では,非教師なし画像翻訳と分布外検出に対するsoft-introvaeの2つの応用について述べる。
• 参考スコア（独自算出の注目度）: 23.04222873330133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recently introduced introspective variational autoencoder (IntroVAE) exhibits outstanding image generations, and allows for amortized inference using an image encoder. The main idea in IntroVAE is to train a VAE adversarially, using the VAE encoder to discriminate between generated and real data samples. However, the original IntroVAE loss function relied on a particular hinge-loss formulation that is very hard to stabilize in practice, and its theoretical convergence analysis ignored important terms in the loss. In this work, we take a step towards better understanding of the IntroVAE model, its practical implementation, and its applications. We propose the Soft-IntroVAE, a modified IntroVAE that replaces the hinge-loss terms with a smooth exponential loss on generated samples. This change significantly improves training stability, and also enables theoretical analysis of the complete algorithm. Interestingly, we show that the IntroVAE converges to a distribution that minimizes a sum of KL distance from the data distribution and an entropy term. We discuss the implications of this result, and demonstrate that it induces competitive image generation and reconstruction. Finally, we describe two applications of Soft-IntroVAE to unsupervised image translation and out-of-distribution detection, and demonstrate compelling results. Code and additional information is available on the project website -- https://taldatech.github.io/soft-intro-vae-web
• Abstract（参考訳）: 最近導入された IntroVAE (IntroVAE) は、優れた画像生成を示し、画像エンコーダを用いた償却推論を可能にする。 IntroVAEの主なアイデアは、VAEエンコーダを使用して、生成されたデータと実際のデータサンプルを識別して、VAEを逆さまにトレーニングすることだ。 しかし、元々のIntroVAE損失関数は、実際に安定することが非常に難しい特定のヒンジロス定式化に依存し、その理論的収束解析は損失の重要な項を無視した。 本研究では, 導入モデル, 実践的実装, 応用についてより深く理解するための一歩を踏み出す。 我々は,ヒンジロス項をスムーズな指数損失で置き換える改良型IntroVAEであるSoft-IntroVAEを提案する。 この変更はトレーニングの安定性を大幅に改善し、完全なアルゴリズムの理論解析を可能にする。 興味深いことに、IntroVAEはデータ分布とエントロピー項とのKL距離の和を最小化する分布に収束する。 この結果の意義を考察し,競合画像の生成と再構成を誘導することを示す。 最後に,非教師なし画像翻訳と分布外検出に対するsoft-introvaeの2つの応用について述べ,説得力のある結果を示す。 コードと追加情報はプロジェクトのwebサイト -https://taldatech.github.io/soft-intro-vae-webで入手できる。

関連論文リスト

• Gaussian Mixture Vector Quantization with Aggregated Categorical Posterior [5.862123282894087]
  ベクトル量子化変分オートエンコーダ(VQ-VAE)を導入する。 VQ-VAEは、離散埋め込みを潜時として使用する変分オートエンコーダの一種である。 GM-VQは,手工芸品に頼らずに,コードブックの利用率を向上し,情報損失を低減する。
  論文  参考訳（メタデータ） (2024-10-14T05:58:11Z)
• How to train your VAE [0.0]
  変分オートエンコーダ(VAE)は、機械学習における生成モデリングと表現学習の基盤となっている。 本稿では,ELBO(エビデンス・ロウアー・バウンド)における重要な構成要素であるKLディバージェンス(Kulback-Leibler)の解釈について検討する。 提案手法は, ELBOを後続確率のガウス混合体で再定義し, 正規化項を導入し, テクスチャリアリズムを高めるためにPatchGAN識別器を用いる。
  論文  参考訳（メタデータ） (2023-09-22T19:52:28Z)
• Symmetric Equilibrium Learning of VAEs [56.56929742714685]
  可変オートエンコーダ(VAE)をデコーダ-エンコーダペアとみなし,データ空間内の分布を潜在空間内の分布にマッピングする。 本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
  論文  参考訳（メタデータ） (2023-07-19T10:27:34Z)
• Variational Diffusion Auto-encoder: Latent Space Extraction from Pre-trained Diffusion Models [0.0]
  可変オートエンコーダ(VAE)は、生成された画像の品質の問題に直面し、しばしば目立った曖昧さを示す。 この問題は、条件付きデータ分布を近似する非現実的な仮定である $p(textbfx | textbfz)$ が等方ガウス的であることに由来する。 本稿では,エンコーダを最適化することにより,既存の拡散モデルから潜在空間を抽出し,限界データのログ化を最大化する方法について述べる。
  論文  参考訳（メタデータ） (2023-04-24T14:44:47Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Designing Counterfactual Generators using Deep Model Inversion [31.1607056675927]
  本研究では,あるクエリー画像に対する反実的説明を生成するための深い逆変換手法を開発する。 視覚的に意味のある説明を生成することに加えて、disCの反事実は意思決定境界の学習に有効であり、未知のテストタイムの汚職に対して堅牢であることがわかった。
  論文  参考訳（メタデータ） (2021-09-29T08:40:50Z)
• Discrete Auto-regressive Variational Attention Models for Text Modeling [53.38382932162732]
  変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。 情報不足と後部崩壊という2つの課題に悩まされている。 本稿では,自己回帰変動注意モデル(DAVAM)を提案する。
  論文  参考訳（メタデータ） (2021-06-16T06:36:26Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Simple and Effective VAE Training with Calibrated Decoders [123.08908889310258]
  変分オートエンコーダ(VAE)は、複雑な分布をモデル化するための効果的で簡単な方法である。 復号分布の不確かさを学習する校正復号器の影響について検討する。 本稿では,一般的なガウス復号器の簡易かつ斬新な修正を提案し,その予測分散を解析的に計算する。
  論文  参考訳（メタデータ） (2020-06-23T17:57:47Z)
• Preventing Posterior Collapse with Levenshtein Variational Autoencoder [61.30283661804425]
  我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。 本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
  論文  参考訳（メタデータ） (2020-04-30T13:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。