論文の概要: On the Convergence of the ELBO to Entropy Sums

• arxiv url: http://arxiv.org/abs/2209.03077v5
• Date: Mon, 29 Apr 2024 07:41:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 03:47:11.329415
• Title: On the Convergence of the ELBO to Entropy Sums
• Title（参考訳）: エントロピー和に対するELBOの収束性について
• Authors: Jörg Lücke, Jan Warnken,
• Abstract要約: 変分下界は、すべての定常的な学習点においてエントロピーの和に等しいことを示す。 非常に大きな生成モデルのクラスでは、変分下界は全ての定常的な学習点である。
• 参考スコア（独自算出の注目度）: 3.345575993695074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The variational lower bound (a.k.a. ELBO or free energy) is the central objective for many established as well as many novel algorithms for unsupervised learning. During learning such algorithms change model parameters to increase the variational lower bound. Learning usually proceeds until parameters have converged to values close to a stationary point of the learning dynamics. In this purely theoretical contribution, we show that (for a very large class of generative models) the variational lower bound is at all stationary points of learning equal to a sum of entropies. For standard machine learning models with one set of latents and one set of observed variables, the sum consists of three entropies: (A) the (average) entropy of the variational distributions, (B) the negative entropy of the model's prior distribution, and (C) the (expected) negative entropy of the observable distribution. The obtained result applies under realistic conditions including: finite numbers of data points, at any stationary point (including saddle points) and for any family of (well behaved) variational distributions. The class of generative models for which we show the equality to entropy sums contains many well-known generative models. As concrete examples we discuss Sigmoid Belief Networks, probabilistic PCA and (Gaussian and non-Gaussian) mixture models. The result also applies for standard (Gaussian) variational autoencoders, a special case that has been shown previously (Damm et al., 2023). The prerequisites we use to show equality to entropy sums are relatively mild. Concretely, the distributions of a given generative model have to be of the exponential family, and the model has to satisfy a parameterization criterion (which is usually fulfilled). Proving the equality of the ELBO to entropy sums at stationary points (under the stated conditions) is the main contribution of this work.
• Abstract（参考訳）: 変分下界(ELBOまたは自由エネルギー)は、多くの確立された目的と、教師なし学習のための多くの新しいアルゴリズムの中心である。 このようなアルゴリズムは学習中にモデルパラメータを変更し、変動的な下界を増加させる。 学習は通常、パラメータが学習力学の定常点に近い値に収束するまで進行する。 この純粋に理論的な寄与において、(非常に大きな生成モデルのクラスに対して)変分下界がすべての定常学習点においてエントロピーの和に等しいことを示す。 1組の潜在変数と1組の観測変数を持つ標準的な機械学習モデルの場合、和は3つのエントロピーからなる: (A) 変動分布の(平均)エントロピー、(B) モデルの前の分布の負エントロピー、(C) 観測可能な分布の(予想)負エントロピー。 得られた結果は、有限個のデータポイント、任意の静止点(サドル点を含む)、および(よく振る舞う)変動分布の族に対して、現実的な条件で適用される。 エントロピー和に等しいことを示す生成モデルのクラスは、よく知られた生成モデルを含む。 Sigmoid Belief Networks,probabilistic PCA and (Gaussian and non-Gaussian) mix model。 この結果は、以前に示された特別なケースである標準(ガウス)変分オートエンコーダにも適用される(Damm et al , 2023)。 エントロピー和に等しいことを示すための前提条件は比較的穏やかである。 具体的には、与えられた生成モデルの分布は指数族でなければならないし、モデルはパラメータ化基準(通常は満たされる)を満たす必要がある。 ELBO の等式を定常点におけるエントロピー和 (entropy sums) に証明することは、この研究の主な貢献である。

関連論文リスト

• Learning Sparse Codes with Entropy-Based ELBOs [13.906627869457232]
  標準スパース符号のパラメータに対してのみエントロピーに基づく学習目標を導出する。 A)MAP近似とは異なり、確率的推論には非自明な後続近似を用いる。
  論文  参考訳（メタデータ） (2023-11-03T13:03:41Z)
• Statistical Properties of the Entropy from Ordinal Patterns [55.551675080361335]
  大規模な時系列モデルに対するエントロピー・統計複雑性の連立分布を知っていれば、今日まで利用できない統計テストが可能になるだろう。 実正規化エントロピーが零でも1でもないモデルに対して、経験的シャノンのエントロピーの分布を特徴づける。 2つの信号が同じシャノンのエントロピーを持つ順序パターンを生成するという仮説を否定するのに十分な証拠があるかどうかを検証する。
  論文  参考訳（メタデータ） (2022-09-15T23:55:58Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Entropy Production and the Role of Correlations in Quantum Brownian Motion [77.34726150561087]
  量子ブラウン運動のカルデイラ・レゲットモデルにおいて、量子エントロピーの生成、異なる種類の相関、およびそれらの相互作用について研究する。
  論文  参考訳（メタデータ） (2021-08-05T13:11:05Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• The ELBO of Variational Autoencoders Converges to a Sum of Three Entropies [16.119724102324934]
  変分オートエンコーダ(VAE)の主目的関数はその変分下界(ELBO)である ここでは、標準(つまりガウス)の VAE に対して、ELBO は3つのエントロピーの和によって与えられる値に収束することを示す。 抽出した解析結果は正確であり、エンコーダとデコーダの複雑なディープネットワークにも適用できる。
  論文  参考訳（メタデータ） (2020-10-28T10:13:28Z)
• Flexible mean field variational inference using mixtures of non-overlapping exponential families [6.599344783327053]
  標準平均場変動推論を用いることで、疎性誘導前のモデルに対して妥当な結果が得られないことを示す。 拡散指数族と 0 の点質量の任意の混合が指数族を形成することを示す。
  論文  参考訳（メタデータ） (2020-10-14T01:46:56Z)
• GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue [95.23775347605923]
  深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。 情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
  論文  参考訳（メタデータ） (2020-09-24T19:34:37Z)
• Eigenstate Entanglement Entropy in Random Quadratic Hamiltonians [0.0]
  可積分モデルでは、体積則係数はサブシステム分数に依存する。 パワーローランダムバンド行列モデルの固有状態の平均絡み合いエントロピーは、二次モデルの結果と近いが、同じではないことを示す。
  論文  参考訳（メタデータ） (2020-06-19T18:01:15Z)
• Generalized Entropy Regularization or: There's Nothing Special about Label Smoothing [83.78668073898001]
  本稿では, ラベル平滑化を含むエントロピー正則化器群を紹介する。 モデル性能のばらつきはモデルのエントロピーによって大きく説明できる。 我々は,他のエントロピー正規化手法の使用を推奨する。
  論文  参考訳（メタデータ） (2020-05-02T12:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。