論文の概要: Variational autoencoders in the presence of low-dimensional data: landscape and implicit bias

• arxiv url: http://arxiv.org/abs/2112.06868v1
• Date: Mon, 13 Dec 2021 18:29:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-14 15:25:16.040536
• Title: Variational autoencoders in the presence of low-dimensional data: landscape and implicit bias
• Title（参考訳）: 低次元データの存在下での変分オートエンコーダ--ランドスケープと暗黙バイアス
• Authors: Frederic Koehler and Viraj Mehta and Andrej Risteski and Chenghui Zhou
• Abstract要約: 変分オートエンコーダ(VAE)は、特に画像データにおいて最もよく使われる生成モデルの一つである。 ダイとウィップの最近の研究は、低次元のデータでは、生成元は0の分散を持つ解に収束し、基底真理多様体上で正しく支持されることを示唆している。 線形エンコーダ/デコーダの場合、ストーリーは概ね真実であり、VAEトレーニングは基底真理多様体に等しいサポート付きジェネレータを復元する。
• 参考スコア（独自算出の注目度）: 26.28940256602715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational Autoencoders (VAEs) are one of the most commonly used generative models, particularly for image data. A prominent difficulty in training VAEs is data that is supported on a lower dimensional manifold. Recent work by Dai and Wipf (2019) suggests that on low-dimensional data, the generator will converge to a solution with 0 variance which is correctly supported on the ground truth manifold. In this paper, via a combination of theoretical and empirical results, we show that the story is more subtle. Precisely, we show that for linear encoders/decoders, the story is mostly true and VAE training does recover a generator with support equal to the ground truth manifold, but this is due to the implicit bias of gradient descent rather than merely the VAE loss itself. In the nonlinear case, we show that the VAE training frequently learns a higher-dimensional manifold which is a superset of the ground truth manifold.
• Abstract（参考訳）: 変分オートエンコーダ(VAE)は、特に画像データにおいて最もよく使われる生成モデルの一つである。 vaesの訓練における顕著な困難は、低次元多様体上でサポートされるデータである。 dai と wipf (2019) による最近の研究は、低次元のデータでは、生成器は基底真理多様体上で正しく支持される0分散の解に収束することを示唆している。 本稿では,理論的および実証的な結果の組み合わせにより,物語がより微妙であることを示す。 正確には、線形エンコーダ/デコーダの場合、ストーリーは概ね真実であり、VAEトレーニングは、基底真理多様体に等しいサポートを持つジェネレータを復元するが、これは、単にVAE損失そのものではなく、勾配降下の暗黙のバイアスによるものである。 非線形の場合、VAEトレーニングは基底真理多様体の超集合である高次元多様体を頻繁に学習することを示す。

関連論文リスト

• $t^3$-Variational Autoencoder: Learning Heavy-tailed Data with Student's t and Power Divergence [7.0479532872043755]
  $t3$VAEは、学生のt-distributionsを前者、エンコーダ、デコーダに組み込んだ改良されたVAEフレームワークである。 t3$VAE は CelebA や不均衡な CIFAR-100 データセットにおいて,他のモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2023-12-02T13:14:28Z)
• Implicit Manifold Gaussian Process Regression [49.0787777751317]
  ガウス過程の回帰は、よく校正された不確実性推定を提供するために広く用いられている。 これは、データが実際に存在する暗黙の低次元多様体のため、高次元データに苦しむ。 本稿では,データ(ラベル付きおよびラベルなし)から直接暗黙構造を完全に微分可能な方法で推定できる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T09:52:48Z)
• Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs [50.25683648762602]
  モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。 クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。 KoVAEは、いくつかの挑戦的な合成および実世界の時系列生成ベンチマークにおいて、最先端のGANおよびVAEメソッドより優れている。
  論文  参考訳（メタデータ） (2023-10-04T07:14:43Z)
• Manifold Learning by Mixture Models of VAEs for Inverse Problems [1.5749416770494704]
  任意の位相の多様体を表現するために,変分オートエンコーダの混合モデルを学習する。 学習多様体に制限されたデータ忠実度項を最小化することにより、逆問題の解法に使用する。 本手法を低次元トイの例に応用し, 脱臭・電気インピーダンストモグラフィーにも応用した。
  論文  参考訳（メタデータ） (2023-03-27T14:29:04Z)
• The Manifold Hypothesis for Gradient-Based Explanations [55.01671263121624]
  勾配に基づく説明アルゴリズムは知覚的に整合した説明を提供する。 特徴属性がデータの接する空間と一致しているほど、知覚的に一致している傾向にあることを示す。 説明アルゴリズムは、その説明をデータ多様体と整合させるよう積極的に努力すべきである。
  論文  参考訳（メタデータ） (2022-06-15T08:49:24Z)
• Deep learning, stochastic gradient descent and diffusion maps [0.0]
  勾配降下(SGD)はその計算効率のためにディープラーニングで広く使われている。 過度にパラメータ化された深層ネットワークの損失ランドスケープにおけるHessianの損失関数のほとんどの固有値がゼロに近いことが観察されている。 パラメータ空間は非常に高次元であるが、これらの結果はSGD力学が主に低次元多様体上に存在することを示唆しているようである。
  論文  参考訳（メタデータ） (2022-04-04T10:19:39Z)
• Orthogonal Jacobian Regularization for Unsupervised Disentanglement in Image Generation [64.92152574895111]
  直交ジャコビアン正規化法(OroJaR)を提案する。 提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
  論文  参考訳（メタデータ） (2021-08-17T15:01:46Z)
• Robust Differentiable SVD [117.35644933471401]
  対称行列の固有分解は多くのコンピュータビジョンアルゴリズムの中心にある。 不安定性は互いに近い固有値の存在によって生じる。 SVD勾配のテイラー展開は、反復過程に依存することなくPIを用いて得られる勾配と理論的に等価であることを示す。
  論文  参考訳（メタデータ） (2021-04-08T15:04:15Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。