論文の概要: Variational Auto-Encoder: not all failures are equal
- arxiv url: http://arxiv.org/abs/2003.01972v1
- Date: Wed, 4 Mar 2020 09:48:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 12:51:35.362890
- Title: Variational Auto-Encoder: not all failures are equal
- Title(参考訳): 変分自動エンコーダ:すべての障害が等しいとは限らない
- Authors: Michele Sebag (LRI), Victor Berger (TAU), Mich\`ele Sebag (LRI)
- Abstract要約: 我々は,VAEのぼかし問題に対して,鋭さ学習がいかに対処しているかを示す。
この論文は、人工データ(MNISTとCelebA)の実験に基づいており、その鋭さ学習が、悪名高いVAEのぼかし問題にどのように対処するかを示している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We claim that a source of severe failures for Variational Auto-Encoders is
the choice of the distribution class used for the observation model.A first
theoretical and experimental contribution of the paper is to establish that
even in the large sample limit with arbitrarily powerful neural architectures
and latent space, the VAE failsif the sharpness of the distribution class does
not match the scale of the data.Our second claim is that the distribution
sharpness must preferably be learned by the VAE (as opposed to, fixed and
optimized offline): Autonomously adjusting this sharpness allows the VAE to
dynamically control the trade-off between the optimization of the
reconstruction loss and the latent compression. A second empirical contribution
is to show how the control of this trade-off is instrumental in escaping poor
local optima, akin a simulated annealing schedule.Both claims are backed upon
experiments on artificial data, MNIST and CelebA, showing how sharpness
learning addresses the notorious VAE blurriness issue.
- Abstract(参考訳): We claim that a source of severe failures for Variational Auto-Encoders is the choice of the distribution class used for the observation model.A first theoretical and experimental contribution of the paper is to establish that even in the large sample limit with arbitrarily powerful neural architectures and latent space, the VAE failsif the sharpness of the distribution class does not match the scale of the data.Our second claim is that the distribution sharpness must preferably be learned by the VAE (as opposed to, fixed and optimized offline): Autonomously adjusting this sharpness allows the VAE to dynamically control the trade-off between the optimization of the reconstruction loss and the latent compression.
2つめの実証的な貢献は、このトレードオフのコントロールが、悪名高いvaeのぼやけ問題に対してシャープネス学習がどのように対処するかを示す、人工データ、mnist、celebaの実験に裏付けられている。
関連論文リスト
- Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル
GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。
本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
論文 参考訳(メタデータ) (2023-04-22T15:32:59Z) - Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
強靭性と精度のトレードオフは、敵文学において広く研究されている。
局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。
定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
論文 参考訳(メタデータ) (2022-02-21T10:36:09Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳(メタデータ) (2021-10-24T07:58:13Z) - Momentum Contrastive Autoencoder: Using Contrastive Learning for Latent
Space Distribution Matching in WAE [51.09507030387935]
Wasserstein autoencoder (WAE) は、2つの分布が一致することは、このAEの潜在空間が予め指定された事前分布と一致するという制約の下で、単純なオートエンコーダ(AE)損失を最小限にすることと同値であることを示している。
本稿では,この問題を解決する手段として,自己指導型表現学習に有効であることを示すコントラスト学習フレームワークを提案する。
WAEの損失を最適化するために、対照的な学習フレームワークを使用することで、WAEの一般的なアルゴリズムと比較して、より高速に収束し、より安定した最適化が達成できることを示す。
論文 参考訳(メタデータ) (2021-10-19T22:55:47Z) - Re-parameterizing VAEs for stability [1.90365714903665]
本稿では,変分オートエンコーダ(VAE)の数値安定性を訓練するための理論的アプローチを提案する。
我々の研究は、VAEが複雑な画像データセット上のアート生成結果に到達できるようにするための最近の研究によって動機づけられている。
我々は、それらが依存する正規分布のパラメータ化方法に小さな変更を加えることで、VAEを安全にトレーニングできることを示します。
論文 参考訳(メタデータ) (2021-06-25T16:19:09Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳(メタデータ) (2020-12-07T14:16:14Z) - A Distributionally Robust Approach to Fair Classification [17.759493152879013]
本研究では、性別や民族などのセンシティブな属性に対する差別を防止する不公平なペナルティを持つロジスティックなロジスティック回帰モデルを提案する。
このモデルは、トレーニングデータ上の経験的分布を中心とするワッサーシュタイン球が分布の不確かさのモデル化に使用される場合、トラクタブル凸最適化問題と等価である。
得られた分類器は, 合成データセットと実データセットの両方において, 予測精度の限界損失による公平性の向上を実証する。
論文 参考訳(メタデータ) (2020-07-18T22:34:48Z) - To Regularize or Not To Regularize? The Bias Variance Trade-off in
Regularized AEs [10.611727286504994]
AEモデルの生成決定論的品質に及ぼす潜伏剤の影響について検討する。
我々は、FlexAEと呼ばれるモデルが、AEベースの生成モデルのための新しい最先端技術であることを示します。
論文 参考訳(メタデータ) (2020-06-10T14:00:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。