論文の概要: Probabilistic Circuits for Variational Inference in Discrete Graphical Models

• arxiv url: http://arxiv.org/abs/2010.11446v1
• Date: Thu, 22 Oct 2020 05:04:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 05:22:40.308486
• Title: Probabilistic Circuits for Variational Inference in Discrete Graphical Models
• Title（参考訳）: 離散グラフィカルモデルにおける変分推論のための確率回路
• Authors: Andy Shih, Stefano Ermon
• Abstract要約: 変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
• 参考スコア（独自算出の注目度）: 101.28528515775842
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inference in discrete graphical models with variational methods is difficult because of the inability to re-parameterize gradients of the Evidence Lower Bound (ELBO). Many sampling-based methods have been proposed for estimating these gradients, but they suffer from high bias or variance. In this paper, we propose a new approach that leverages the tractability of probabilistic circuit models, such as Sum Product Networks (SPN), to compute ELBO gradients exactly (without sampling) for a certain class of densities. In particular, we show that selective-SPNs are suitable as an expressive variational distribution, and prove that when the log-density of the target model is a polynomial the corresponding ELBO can be computed analytically. To scale to graphical models with thousands of variables, we develop an efficient and effective construction of selective-SPNs with size $O(kn)$, where $n$ is the number of variables and $k$ is an adjustable hyperparameter. We demonstrate our approach on three types of graphical models -- Ising models, Latent Dirichlet Allocation, and factor graphs from the UAI Inference Competition. Selective-SPNs give a better lower bound than mean-field and structured mean-field, and is competitive with approximations that do not provide a lower bound, such as Loopy Belief Propagation and Tree-Reweighted Belief Propagation. Our results show that probabilistic circuits are promising tools for variational inference in discrete graphical models as they combine tractability and expressivity.
• Abstract（参考訳）: エビデンス・ロウアー・バウンド(ELBO)の勾配を再パラメータ化できないため、変分法による離散的グラフィカルモデルの推論は困難である。 これらの勾配を推定するために多くのサンプリングベースの手法が提案されているが、高いバイアスやばらつきに苦しむ。 本稿では,ある種類の密度に対するELBO勾配を正確に(サンプリングなしで)計算するために, Sum Product Networks (SPN) などの確率回路モデルのトラクタビリティを活用する新しい手法を提案する。 特に、選択的SPNが表現的変動分布に適していることを示し、対象モデルの対数密度が多項式である場合、対応するELBOを解析的に計算できることを証明する。 何千もの変数を持つグラフィカルモデルにスケールするために、$o(kn)$というサイズの選択的spnを効率的かつ効果的に構築し、ここで$n$は変数の数、$k$は調整可能なハイパーパラメータである。 我々は、Ising Model、Latent Dirichlet Allocation、UAI推論コンペティションの因子グラフの3種類のグラフィカルモデルに対するアプローチを実証する。 Selective-SPNs は平均場や構造平均場よりも良い下界を与え、Loopy Belief Propagation や Tree-Reweighted Belief Propagation のような下界を提供しない近似と競合する。 その結果,確率回路は可搬性と表現性を兼ね備えた離散グラフィカルモデルにおける変分推論に有望なツールであることがわかった。

関連論文リスト

• Proximal Interacting Particle Langevin Algorithms [0.0]
  本稿では,潜時変動モデルにおける推論と学習のためのPIPLAアルゴリズムを提案する。 非微分不可能な統計モデルにおけるパラメータ推定の問題に合わせた、新しい近位IPLAファミリー内のいくつかの変種を提案する。 我々の理論と実験は、PIPLAファミリーが非微分可能モデルの潜在変数モデルにおけるパラメータ推定問題のデファクト選択であることを示している。
  論文  参考訳（メタデータ） (2024-06-20T13:16:41Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Neural Gaussian Similarity Modeling for Differential Graph Structure Learning [24.582257964387402]
  微分不可能近傍サンプリングを微分可能サンプリングに置き換えることで、微分グラフ構造学習モデルを構築する。 この問題を緩和するために、ベル形状のガウス類似性(Gaussian similarity, GauSim)モデリングが、非アネレスト近傍のサンプルとして提案されている。 我々は,大規模グラフを遷移グラフに転送することで,複雑さを著しく低減し,スケーラブルな手法を開発した。
  論文  参考訳（メタデータ） (2023-12-15T02:45:33Z)
• Matching Normalizing Flows and Probability Paths on Manifolds [57.95251557443005]
  連続正規化フロー (Continuous Normalizing Flows, CNFs) は、常微分方程式(ODE)を解くことによって、先行分布をモデル分布に変換する生成モデルである。 我々は,CNFが生成する確率密度パスと目標確率密度パスとの間に生じる新たな分岐系であるPPDを最小化して,CNFを訓練することを提案する。 PPDの最小化によって得られたCNFは、既存の低次元多様体のベンチマークにおいて、その可能性とサンプル品質が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-11T08:50:19Z)
• Optimizing differential equations to fit data and predict outcomes [0.0]
  数値微分方程式解法による自動微分の最近の技術進歩は、フィッティング過程を比較的簡単な問題に変える可能性がある。 本稿は、ハレとリンクスの個体群における振動に古典的な生態データを用いて、様々な共通の課題を克服する方法を説明する。
  論文  参考訳（メタデータ） (2022-04-16T16:08:08Z)
• Score-based Generative Modeling of Graphs via the System of Stochastic Differential Equations [57.15855198512551]
  本稿では,連続時間フレームワークを用いたグラフのスコアベース生成モデルを提案する。 本手法は, トレーニング分布に近い分子を生成できるが, 化学価数則に違反しないことを示す。
  論文  参考訳（メタデータ） (2022-02-05T08:21:04Z)
• Scalable mixed-domain Gaussian process modeling and model reduction for longitudinal data [5.00301731167245]
  混合領域共分散関数に対する基底関数近似スキームを導出する。 我々は,GPモデルの精度をランタイムのごく一部で正確に近似できることを示す。 また、より小さく、より解釈可能なモデルを得るためのスケーラブルなモデルリダクションワークフローを実証する。
  論文  参考訳（メタデータ） (2021-11-03T04:47:37Z)
• Gaussian Process Latent Class Choice Models [7.992550355579791]
  離散選択モデル(DCM)における確率的機械学習の非パラメトリッククラスを提案する。 提案モデルでは,GPを用いた行動同質クラスタ(ラテントクラス)に確率的に個人を割り当てる。 モデルは2つの異なるモード選択アプリケーションでテストされ、異なるLCCMベンチマークと比較される。
  論文  参考訳（メタデータ） (2021-01-28T19:56:42Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Stein Variational Inference for Discrete Distributions [70.19352762933259]
  離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。 提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。 我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。 さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
  論文  参考訳（メタデータ） (2020-03-01T22:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。