論文の概要: Continuous Mixtures of Tractable Probabilistic Models

• arxiv url: http://arxiv.org/abs/2209.10584v1
• Date: Wed, 21 Sep 2022 18:18:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 12:32:59.458838
• Title: Continuous Mixtures of Tractable Probabilistic Models
• Title（参考訳）: トラクタブル確率モデルの連続混合
• Authors: Alvaro H.C. Correia, Gennaro Gala, Erik Quaeghebeur, Cassio de Campos, Robert Peharz
• Abstract要約: 変分オートエンコーダのような連続潜伏空間に基づく確率モデルは、非可算混合モデルとして理解することができる。 それらは、計算可能な確率確率的推論、すなわち、表現された確率分布の限界と条件を計算できるのと不一致である。 本稿では,少ない潜在次元のトラクタブルモデルの連続混合というハイブリッドアプローチについて検討する。
• 参考スコア（独自算出の注目度）: 10.667104977730304
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Probabilistic models based on continuous latent spaces, such as variational autoencoders, can be understood as uncountable mixture models where components depend continuously on the latent code. They have proven expressive tools for generative and probabilistic modelling, but are at odds with tractable probabilistic inference, that is, computing marginals and conditionals of the represented probability distribution. Meanwhile, tractable probabilistic models such as probabilistic circuits (PCs) can be understood as hierarchical discrete mixture models, which allows them to perform exact inference, but often they show subpar performance in comparison to continuous latent-space models. In this paper, we investigate a hybrid approach, namely continuous mixtures of tractable models with a small latent dimension. While these models are analytically intractable, they are well amenable to numerical integration schemes based on a finite set of integration points. With a large enough number of integration points the approximation becomes de-facto exact. Moreover, using a finite set of integration points, the approximation method can be compiled into a PC performing `exact inference in an approximate model'. In experiments, we show that this simple scheme proves remarkably effective, as PCs learned this way set new state-of-the-art for tractable models on many standard density estimation benchmarks.
• Abstract（参考訳）: 変分オートエンコーダのような連続的潜在空間に基づく確率的モデルは、コンポーネントが潜在コードに依存する可算混合モデルとして理解することができる。 それらは生成的および確率的モデリングのための表現的ツールを証明してきたが、引き算可能な確率的推論、すなわち、表現された確率分布の限界と条件の計算に反する。 一方、確率的回路(pcs)のような扱いやすい確率的モデルは、正確な推論を可能にする階層的離散混合モデルとして理解することができるが、連続的潜在空間モデルと比較してサブパー性能を示すことが多い。 本稿では,少ない潜在次元のトラクタブルモデルの連続混合というハイブリッドアプローチについて検討する。 これらのモデルは解析的に難解であるが、有限の積分点集合に基づく数値積分スキームによく対応できる。 十分な数の統合ポイントがあれば、近似は正確にデファクトになる。 さらに、有限の積分点集合を用いて近似法を「近似モデルにおける正確な推論」を行うPCにコンパイルすることができる。 実験では、PCが多くの標準密度推定ベンチマーク上で、トラクタブルモデルのための新しい最先端のモデルを設定することで、この単純なスキームが極めて効果的であることを示す。

関連論文リスト

• Fusion of Gaussian Processes Predictions with Monte Carlo Sampling [61.31380086717422]
  科学と工学において、私たちはしばしば興味のある変数の正確な予測のために設計されたモデルで作業します。 これらのモデルが現実の近似であることを認識し、複数のモデルを同じデータに適用し、結果を統合することが望ましい。
  論文  参考訳（メタデータ） (2024-03-03T04:21:21Z)
• Simplifying Complex Observation Models in Continuous POMDP Planning with Probabilistic Guarantees and Practice [9.444784653236157]
  我々は,簡易観測モデルを計画に用いた場合,どのような意味があるのかという問題に対処する。 我々の主な貢献は、単純化されたモデルの統計的全変動距離に基づく新しい確率的境界である。 計算はオフラインとオンラインに分かれることが可能で、計画中にコストのかかるモデルにアクセスすることなく、正式な保証に到達します。
  論文  参考訳（メタデータ） (2023-11-13T20:55:02Z)
• Scalable Dynamic Mixture Model with Full Covariance for Probabilistic Traffic Forecasting [16.04029885574568]
  時間変化誤差過程に対するゼロ平均ガウス分布の動的混合を提案する。 提案手法は,学習すべきパラメータを数つ追加するだけで,既存のディープラーニングフレームワークにシームレスに統合することができる。 提案手法を交通速度予測タスク上で評価し,提案手法がモデル水平線を改良するだけでなく,解釈可能な時間相関構造も提供することを発見した。
  論文  参考訳（メタデータ） (2022-12-10T22:50:00Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
  本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。 これらの結果はサンプル状態と有限状態の両方で定式化する。
  論文  参考訳（メタデータ） (2022-10-03T06:09:01Z)
• PSD Representations for Effective Probability Models [117.35298398434628]
  最近提案された非負関数に対する正半定値(PSD)モデルがこの目的に特に適していることを示す。 我々はPSDモデルの近似と一般化能力の両方を特徴付け、それらが強い理論的保証を享受していることを示す。 本研究では,PSDモデルの密度推定,決定理論,推論への応用への道を開く。
  論文  参考訳（メタデータ） (2021-06-30T15:13:39Z)
• Marginalizable Density Models [14.50261153230204]
  本稿では,変数の任意の部分集合の確率,限界,条件に対するクローズドフォーム表現を提供する,新しいディープネットワークアーキテクチャを提案する。 このモデルはまた、変数数に時間複雑性の対数依存しか依存しない並列サンプリングを可能にする。
  論文  参考訳（メタデータ） (2021-06-08T23:54:48Z)
• Probabilistic Generating Circuits [50.98473654244851]
  効率的な表現のための確率的生成回路(PGC)を提案する。 PGCは、非常に異なる既存モデルを統一する理論的なフレームワークであるだけでなく、現実的なデータをモデル化する大きな可能性も示している。 我々はPCとDPPの単純な組み合わせによって簡単に仮定されない単純なPGCのクラスを示し、一連の密度推定ベンチマークで競合性能を得る。
  論文  参考訳（メタデータ） (2021-02-19T07:06:53Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• Variational Mixture of Normalizing Flows [0.0]
  生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。 正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。 本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
  論文  参考訳（メタデータ） (2020-09-01T17:20:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。