論文の概要: Variance Loss in Variational Autoencoders

• arxiv url: http://arxiv.org/abs/2002.09860v2
• Date: Fri, 22 May 2020 20:55:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 09:10:45.280229
• Title: Variance Loss in Variational Autoencoders
• Title（参考訳）: 変分オートエンコーダの分散損失
• Authors: Andrea Asperti
• Abstract要約: 生成されたデータの分散は、トレーニングデータよりも大幅に低い。 問題は、第2のVAEを使用して第1のVAEの潜伏空間をサンプリングする2段階の設定において特に関係がある。 第2のVAEの出力を通常の球面分布に再正規化することにより, 生成した試料の品質の急激な急激な急上昇が得られる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this article, we highlight what appears to be major issue of Variational Autoencoders, evinced from an extensive experimentation with different network architectures and datasets: the variance of generated data is significantly lower than that of training data. Since generative models are usually evaluated with metrics such as the Frechet Inception Distance (FID) that compare the distributions of (features of) real versus generated images, the variance loss typically results in degraded scores. This problem is particularly relevant in a two stage setting, where we use a second VAE to sample in the latent space of the first VAE. The minor variance creates a mismatch between the actual distribution of latent variables and those generated by the second VAE, that hinders the beneficial effects of the second stage. Renormalizing the output of the second VAE towards the expected normal spherical distribution, we obtain a sudden burst in the quality of generated samples, as also testified in terms of FID.
• Abstract（参考訳）: 本稿では,異なるネットワークアーキテクチャとデータセットによる広範な実験から得られた変分オートコーダの大きな問題について紹介する: 生成されたデータの分散は,トレーニングデータよりも著しく低い。 生成モデルは通常、実画像と生成された画像の分布を比較するFrechet Inception Distance (FID)のようなメトリクスで評価されるため、分散損失は通常、劣化したスコアをもたらす。 この問題は、第2のVAEを用いて第1のVAEの潜伏空間をサンプリングする2段階の設定において特に重要である。 小分散は、潜伏変数の実際の分布と第二のVAEによって生成される変数とのミスマッチを生じさせ、第二のステージの有益な効果を妨げる。 第2のVAEの出力を通常の球面分布に再正規化することにより、FIDの観点からも証明されるように、生成したサンプルの品質の急激なバーストが得られる。

関連論文リスト

• FedUV: Uniformity and Variance for Heterogeneous Federated Learning [5.9330433627374815]
  フェデレーション学習は、広く分散されたデータでニューラルネットワークをトレーニングするための有望なフレームワークである。 最近の研究によると、ネットワークの最終層が局所バイアスの傾向が最も大きいためである。 凍結重量が一定の特異値をもたらすという観測によって動機付けられた重みにSVDを適用して分類器の訓練力学を考察する。
  論文  参考訳（メタデータ） (2024-02-27T15:53:15Z)
• Structured Uncertainty in the Observation Space of Variational Autoencoders [20.709989481734794]
  画像合成において、そのような分布からのサンプリングは、非相関な画素ノイズを伴う空間的非コヒーレントな結果を生成する。 低ランクパラメータ化により空間依存性を符号化する観測空間の代替モデルを提案する。 画素単位の独立分布とは対照的に,本サンプルは複数の可算出力の予測を可能にする平均値から意味論的に有意な変動を含むと考えられる。
  論文  参考訳（メタデータ） (2022-05-25T07:12:50Z)
• SLA$^2$P: Self-supervised Anomaly Detection with Adversarial Perturbation [77.71161225100927]
  異常検出は、機械学習の基本的な問題であるが、難しい問題である。 本稿では,非教師付き異常検出のための新しい強力なフレームワークであるSLA$2$Pを提案する。
  論文  参考訳（メタデータ） (2021-11-25T03:53:43Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
  ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。 そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T09:34:17Z)
• Reducing the Amortization Gap in Variational Autoencoders: A Bayesian Random Function Approach [38.45568741734893]
  GPモデルの推論は、セミアモタイズ法よりもはるかに高速な1つのフィードフォワードパスによって行われる。 提案手法は,複数のベンチマークデータセットの最先端データよりも高い確率でテストデータが得られることを示す。
  論文  参考訳（メタデータ） (2021-02-05T13:01:12Z)
• Addressing Variance Shrinkage in Variational Autoencoders using Quantile Regression [0.0]
  可変変分オートエンコーダ (VAE) は, 医用画像の病変検出などの応用において, 異常検出の一般的なモデルとなっている。 本稿では,分散の縮小や過小評価といったよく知られた問題を避けるための代替手法について述べる。 ガウスの仮定の下で推定された定量値を用いて平均値と分散値を計算し、再構成確率を外乱検出や異常検出の原理的アプローチとして計算する。
  論文  参考訳（メタデータ） (2020-10-18T17:37:39Z)
• Temporal Action Localization with Variance-Aware Networks [12.364819165688628]
  本研究は,VAN(Variance-Aware Networks)を用いた時間的行動ローカライゼーションの問題に対処する。 VANpはネットワーク全体の平均と分散を伝搬し、2次統計値で出力を提供するネットワークである。 その結果、VANpは、他の2段階ネットワークのほぼ全ての精度を、追加のパラメータを含まないまま上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-08-25T20:12:59Z)
• Recent Developments Combining Ensemble Smoother and Deep Generative Networks for Facies History Matching [58.720142291102135]
  本研究は、ファシズムモデルのための連続パラメータ化を構築するためのオートエンコーダネットワークの利用に焦点を当てる。 本稿では,VAE,GAN,Wasserstein GAN,変分自動符号化GAN,サイクルGANの主成分分析(PCA),転送スタイルネットワークのPCA,スタイル損失のVAEの7種類の定式化をベンチマークする。
  論文  参考訳（メタデータ） (2020-05-08T21:32:42Z)
• Generalized ODIN: Detecting Out-of-distribution Image without Learning from Out-of-distribution Data [87.61504710345528]
  我々は,OoD検出性能を改善しつつ,ニューラルネットワークをOoDデータのチューニングから解放する2つの方法を提案する。 具体的には、信頼性スコアリングと修正された入力前処理法を分離することを提案する。 大規模画像データセットのさらなる解析により、セマンティックシフトと非セマンティックシフトの2種類の分布シフトが有意な差を示すことが示された。
  論文  参考訳（メタデータ） (2020-02-26T04:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。