論文の概要: The Evidence Lower Bound of Variational Autoencoders Converges to a Sum of Three Entropies

• arxiv url: http://arxiv.org/abs/2010.14860v3
• Date: Tue, 15 Jun 2021 17:38:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 04:44:15.801104
• Title: The Evidence Lower Bound of Variational Autoencoders Converges to a Sum of Three Entropies
• Title（参考訳）: 3つのエントロピーの和に収束する変分オートエンコーダの低境界の証拠
• Authors: J\"org L\"ucke, Dennis Forster, Zhenwen Dai
• Abstract要約: 標準的なVAEに対して、変分境界は3つのエントロピーの和によって与えられる値に収束することを示す。 固定点における変分境界値を決定する上で,エンコーダとデコーダの分散パラメータが重要な役割を果たすことを示す。
• 参考スコア（独自算出の注目度）: 7.433931244705936
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The central objective function of a variational autoencoder (VAE) is its variational lower bound. Here we show that for standard VAEs the variational bound converges to a value given by the sum of three entropies: the (negative) entropy of the latent distribution, the expected (negative) entropy of the observable distribution, and the average entropy of the variational distributions. Our derived analytical results are exact and apply for small as well as complex neural networks for decoder and encoder. Furthermore, they apply for finitely and infinitely many data points and at any stationary point (including local and global maxima). As a consequence, we show that the variance parameters of encoder and decoder play the key role in determining the values of variational bounds at stationary points. Furthermore, the obtained results can allow for closed-form analytical expressions at points of convergence, which may be unexpected as neither variational lower bounds of VAEs nor log-likelihoods of VAEs are closed-form during learning. As our main contribution, we provide the proofs for convergence of standard VAEs to sums of entropies. Furthermore, we numerically verify our analytical results and discuss some potential applications. The obtained equality to entropy sums provides novel information on those points in parameter space that variational learning converges to. As such, we believe, they can contribute to our understanding of established as well as novel VAE approaches.
• Abstract（参考訳）: 変分オートエンコーダ(VAE)の主目的関数はその変分下界である。 ここで、標準vaesでは、変分境界は3つのエントロピーの和によって与えられる値に収束する: 潜在分布の(負の)エントロピー、観測可能な分布の期待される(負の)エントロピー、変分分布の平均エントロピーである。 得られた解析結果は正確であり,デコーダやエンコーダの複雑なニューラルネットワークにも適用可能である。 さらに、有限かつ無限に多くのデータポイントと任意の静止点(局所および大域最大値を含む)に適用される。 その結果,エンコーダとデコーダの分散パラメータが定常点における変動境界値を決定する上で重要な役割を担っていることがわかった。 さらに、得られた結果により、収束点における閉形式解析式を作成できるが、これは、VAEの変動的下限やVAEの対数類似度が学習中に閉形式にならないため、予期しない。 我々の主な貢献として、標準的なVAEのエントロピーの和への収束の証明を提供する。 さらに,解析結果を数値的に検証し,潜在的な応用について考察する。 得られたエントロピー和に対する等式は、変分学習が収束するパラメータ空間におけるこれらの点に関する新しい情報を与える。 このように、確立された理解と新しいVAEアプローチに寄与できると我々は信じている。

関連論文リスト

• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Learning Sparse Codes with Entropy-Based ELBOs [13.906627869457232]
  標準スパース符号のパラメータに対してのみエントロピーに基づく学習目標を導出する。 A)MAP近似とは異なり、確率的推論には非自明な後続近似を用いる。
  論文  参考訳（メタデータ） (2023-11-03T13:03:41Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
  本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。 これらの結果はサンプル状態と有限状態の両方で定式化する。
  論文  参考訳（メタデータ） (2022-10-03T06:09:01Z)
• On the Convergence of the ELBO to Entropy Sums [3.345575993695074]
  変分下界は、すべての定常的な学習点においてエントロピーの和に等しいことを示す。 非常に大きな生成モデルのクラスでは、変分下界は全ての定常的な学習点である。
  論文  参考訳（メタデータ） (2022-09-07T11:33:32Z)
• Structural aspects of FRG in quantum tunnelling computations [68.8204255655161]
  一次元の4次元高調波発振器とダブルウェルポテンシャルの両方を探索する。 ポテンシャルV_k(varphi)と波動関数再正規化Z_k(varphi)の2つの偏微分方程式について検討した。
  論文  参考訳（メタデータ） (2022-06-14T15:23:25Z)
• Interpretable transformed ANOVA approximation on the example of the prevention of forest fires [0.0]
  本稿では、関数空間の$mathrmL$空間における完全正則系を設計するために変換の考え方を適用する。 本手法では, 説明可能なANOVA近似を適用し, UCI法でZスコア変換データを使用することができる。 機械学習レポジトリから設定したよく知られた森林火災データに対して,この手順の適用性を示す。
  論文  参考訳（メタデータ） (2021-10-14T13:39:05Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。