論文の概要: Generative Models with ELBOs Converging to Entropy Sums

• arxiv url: http://arxiv.org/abs/2501.09022v1
• Date: Wed, 25 Dec 2024 15:47:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-19 08:38:28.003921
• Title: Generative Models with ELBOs Converging to Entropy Sums
• Title（参考訳）: エントロピー和に収束するELBOを用いた生成モデル
• Authors: Jan Warnken, Dmytro Velychko, Simon Damm, Asja Fischer, Jörg Lücke,
• Abstract要約: エビデンス・ローバウンド(ELBO)は教師なし学習の最も中心的な目的の一つである。 いくつかの生成モデルとモデルクラスに対するエントロピー和への収束性を証明する。
• 参考スコア（独自算出の注目度）: 12.962371546573229
• License:
• Abstract: The evidence lower bound (ELBO) is one of the most central objectives for probabilistic unsupervised learning. For the ELBOs of several generative models and model classes, we here prove convergence to entropy sums. As one result, we provide a list of generative models for which entropy convergence has been shown, so far, along with the corresponding expressions for entropy sums. Our considerations include very prominent generative models such as probabilistic PCA, sigmoid belief nets or Gaussian mixture models. However, we treat more models and entire model classes such as general mixtures of exponential family distributions. Our main contributions are the proofs for the individual models. For each given model we show that the conditions stated in Theorem 1 or Theorem 2 of [arXiv:2209.03077] are fulfilled such that by virtue of the theorems the given model's ELBO is equal to an entropy sum at all stationary points. The equality of the ELBO at stationary points applies under realistic conditions: for finite numbers of data points, for model/data mismatches, at any stationary point including saddle points etc, and it applies for any well behaved family of variational distributions.
• Abstract（参考訳）: ELBO(エビデンス・ロー・バウンド)は確率的教師なし学習の最も中心的な目的の1つである。 いくつかの生成モデルとモデルクラスのELBOに対して、エントロピー和への収束を証明する。 結果として、エントロピー収束がこれまで示されてきた生成モデルの一覧と、対応するエントロピー和の式を提供する。 我々の考察は、確率的PCA、シグモイド信念ネット、ガウス混合モデルなど、非常に顕著な生成モデルを含む。 しかし、指数族分布の一般混合のようなモデルとモデルクラス全体を扱う。 私たちの主な貢献は、個々のモデルの証明です。 与えられたモデルごとに、[arXiv:2209.03077] の定理 1 または Theorem 2 に表される条件が満たされ、与えられたモデルのELBO はすべての定常点におけるエントロピー和に等しいことを示す。 定常点におけるELBOの等式は、有限個のデータポイント、モデル/データミスマッチ、サドル点を含む任意の定常点において、現実的な条件で適用される。

関連論文リスト

• von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
  円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。 後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Geometric Neural Diffusion Processes [55.891428654434634]
  拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。 これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
  論文  参考訳（メタデータ） (2023-07-11T16:51:38Z)
• On the Convergence of the ELBO to Entropy Sums [3.345575993695074]
  変分下界は、すべての定常的な学習点においてエントロピーの和に等しいことを示す。 静止点におけるエントロピー和に対する ELBO の等式を証明することが、この研究の主な貢献である。
  論文  参考訳（メタデータ） (2022-09-07T11:33:32Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• PSD Representations for Effective Probability Models [117.35298398434628]
  最近提案された非負関数に対する正半定値(PSD)モデルがこの目的に特に適していることを示す。 我々はPSDモデルの近似と一般化能力の両方を特徴付け、それらが強い理論的保証を享受していることを示す。 本研究では,PSDモデルの密度推定,決定理論,推論への応用への道を開く。
  論文  参考訳（メタデータ） (2021-06-30T15:13:39Z)
• On the Generative Utility of Cyclic Conditionals [103.1624347008042]
  2つの条件付きモデル$p(x|z)$を用いて、共同分布$p(x,z)$をモデル化できるかどうか、また、どのようにしてサイクルを形成するかを検討する。 本稿では,周期条件生成モデリングのためのCyGenフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-30T10:23:45Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• Generalization and Memorization: The Bias Potential Model [9.975163460952045]
  生成モデルと密度推定器は、関数の学習モデルとは全く異なる振る舞いをする。 バイアスポテンシャルモデルでは、早期停止が採用された場合、次元非依存の一般化精度が達成可能であることを示す。 長期的には、モデルはサンプルを記憶するか、分岐させる。
  論文  参考訳（メタデータ） (2020-11-29T04:04:54Z)
• Probability Link Models with Symmetric Information Divergence [1.5749416770494706]
  リンクモデルの2つの一般的なクラスが提案されている。 最初のモデルは2つの生存関数を結び、比例奇数や変化点のようなモデルに適用できる。 2つ目のモデルは2つの累積確率分布関数をリンクする。
  論文  参考訳（メタデータ） (2020-08-10T19:49:51Z)
• Eigenstate Entanglement Entropy in Random Quadratic Hamiltonians [0.0]
  可積分モデルでは、体積則係数はサブシステム分数に依存する。 パワーローランダムバンド行列モデルの固有状態の平均絡み合いエントロピーは、二次モデルの結果と近いが、同じではないことを示す。
  論文  参考訳（メタデータ） (2020-06-19T18:01:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。