論文の概要: The ELBO of Variational Autoencoders Converges to a Sum of Three Entropies

• arxiv url: http://arxiv.org/abs/2010.14860v5
• Date: Thu, 20 Apr 2023 08:00:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 18:43:14.776222
• Title: The ELBO of Variational Autoencoders Converges to a Sum of Three Entropies
• Title（参考訳）: 変分オートエンコーダのエルボは3つのエントロピーの合計に収束する
• Authors: Simon Damm, Dennis Forster, Dmytro Velychko, Zhenwen Dai, Asja Fischer, J\"org L\"ucke
• Abstract要約: 変分オートエンコーダ(VAE)の主目的関数はその変分下界(ELBO)である ここでは、標準(つまりガウス)の VAE に対して、ELBO は3つのエントロピーの和によって与えられる値に収束することを示す。 抽出した解析結果は正確であり、エンコーダとデコーダの複雑なディープネットワークにも適用できる。
• 参考スコア（独自算出の注目度）: 16.119724102324934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The central objective function of a variational autoencoder (VAE) is its variational lower bound (the ELBO). Here we show that for standard (i.e., Gaussian) VAEs the ELBO converges to a value given by the sum of three entropies: the (negative) entropy of the prior distribution, the expected (negative) entropy of the observable distribution, and the average entropy of the variational distributions (the latter is already part of the ELBO). Our derived analytical results are exact and apply for small as well as for intricate deep networks for encoder and decoder. Furthermore, they apply for finitely and infinitely many data points and at any stationary point (including local maxima and saddle points). The result implies that the ELBO can for standard VAEs often be computed in closed-form at stationary points while the original ELBO requires numerical approximations of integrals. As a main contribution, we provide the proof that the ELBO for VAEs is at stationary points equal to entropy sums. Numerical experiments then show that the obtained analytical results are sufficiently precise also in those vicinities of stationary points that are reached in practice. Furthermore, we discuss how the novel entropy form of the ELBO can be used to analyze and understand learning behavior. More generally, we believe that our contributions can be useful for future theoretical and practical studies on VAE learning as they provide novel information on those points in parameters space that optimization of VAEs converges to.
• Abstract（参考訳）: 変分オートエンコーダ(VAE)の主目的関数は、その変分ローバウンド(ELBO)である。 ここで、標準(すなわちガウス的)vaesに対して、elboは3つのエントロピーの和によって与えられる値に収束することを示す: 事前分布の(負の)エントロピー、観測可能な分布の期待される(負の)エントロピー、および変分分布の平均エントロピー(後者は既にelboの一部である)。 得られた解析結果は,エンコーダとデコーダの複雑な深層ネットワークに対しても正確かつ適用可能である。 さらに、有限かつ無限に多くのデータポイントと任意の静止点(局所最大点やサドル点を含む)に適用される。 その結果、標準VAEのELBOは定常点の閉形式で計算されることが多く、元のELBOは積分の数値近似を必要とすることがわかった。 主な貢献として、VAE に対する ELBO がエントロピー和に等しい定常点にあることを示す。 数値実験により, 得られた解析結果は, 実際に到達した定常点の活力においても十分正確であることがわかった。 さらに,ELBOの新たなエントロピー形式を用いて,学習行動の分析と理解を行う方法について論じる。 より一般的には、我々の貢献は、VAEの最適化が収束するパラメータ空間におけるこれらの点に関する新しい情報を提供するため、VAE学習に関する将来の理論的および実践的な研究に役立つと信じている。

関連論文リスト

• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Learning Sparse Codes with Entropy-Based ELBOs [13.906627869457232]
  標準スパース符号のパラメータに対してのみエントロピーに基づく学習目標を導出する。 A)MAP近似とは異なり、確率的推論には非自明な後続近似を用いる。
  論文  参考訳（メタデータ） (2023-11-03T13:03:41Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
  本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。 これらの結果はサンプル状態と有限状態の両方で定式化する。
  論文  参考訳（メタデータ） (2022-10-03T06:09:01Z)
• On the Convergence of the ELBO to Entropy Sums [3.345575993695074]
  変分下界は、すべての定常的な学習点においてエントロピーの和に等しいことを示す。 非常に大きな生成モデルのクラスでは、変分下界は全ての定常的な学習点である。
  論文  参考訳（メタデータ） (2022-09-07T11:33:32Z)
• Structural aspects of FRG in quantum tunnelling computations [68.8204255655161]
  一次元の4次元高調波発振器とダブルウェルポテンシャルの両方を探索する。 ポテンシャルV_k(varphi)と波動関数再正規化Z_k(varphi)の2つの偏微分方程式について検討した。
  論文  参考訳（メタデータ） (2022-06-14T15:23:25Z)
• Interpretable transformed ANOVA approximation on the example of the prevention of forest fires [0.0]
  本稿では、関数空間の$mathrmL$空間における完全正則系を設計するために変換の考え方を適用する。 本手法では, 説明可能なANOVA近似を適用し, UCI法でZスコア変換データを使用することができる。 機械学習レポジトリから設定したよく知られた森林火災データに対して,この手順の適用性を示す。
  論文  参考訳（メタデータ） (2021-10-14T13:39:05Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。