論文の概要: Likelihood Based Inference in Fully and Partially Observed Exponential Family Graphical Models with Intractable Normalizing Constants
- arxiv url: http://arxiv.org/abs/2404.17763v1
- Date: Sat, 27 Apr 2024 02:58:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-30 19:20:56.763778
- Title: Likelihood Based Inference in Fully and Partially Observed Exponential Family Graphical Models with Intractable Normalizing Constants
- Title（参考訳）: 抽出可能な正規化定数を持つ完全および部分観測された指数族図形モデルの様相に基づく推論
- Authors: Yujie Chen, Anindya Bhadra, Antik Chakraborty,
- Abstract要約: マルコフ確率場を符号化する確率的グラフィカルモデルは、生成的モデリングの基本的な構成要素である。
本稿では,これらのモデルの全確率に基づく解析が,計算効率のよい方法で実現可能であることを示す。
- 参考スコア（独自算出の注目度）: 4.532043501030714
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Probabilistic graphical models that encode an underlying Markov random field are fundamental building blocks of generative modeling to learn latent representations in modern multivariate data sets with complex dependency structures. Among these, the exponential family graphical models are especially popular, given their fairly well-understood statistical properties and computational scalability to high-dimensional data based on pseudo-likelihood methods. These models have been successfully applied in many fields, such as the Ising model in statistical physics and count graphical models in genomics. Another strand of models allows some nodes to be latent, so as to allow the marginal distribution of the observable nodes to depart from exponential family to capture more complex dependence. These approaches form the basis of generative models in artificial intelligence, such as the Boltzmann machines and their restricted versions. A fundamental barrier to likelihood-based (i.e., both maximum likelihood and fully Bayesian) inference in both fully and partially observed cases is the intractability of the likelihood. The usual workaround is via adopting pseudo-likelihood based approaches, following the pioneering work of Besag (1974). The goal of this paper is to demonstrate that full likelihood based analysis of these models is feasible in a computationally efficient manner. The chief innovation lies in using a technique of Geyer (1991) to estimate the intractable normalizing constant, as well as its gradient, for intractable graphical models. Extensive numerical results, supporting theory and comparisons with pseudo-likelihood based approaches demonstrate the applicability of the proposed method.
- Abstract（参考訳）: マルコフ確率場を符号化する確率的グラフィカルモデルは、複雑な依存構造を持つ現代の多変量データセットにおける潜在表現を学習するための生成的モデリングの基本的な構成要素である。
これらのうち指数関数型ファミリグラフィーモデルは、そのかなりよく理解された統計的性質と、擬似的な手法に基づく高次元データに対する計算スケーラビリティから特に人気がある。
これらのモデルは、統計物理学におけるイジングモデルやゲノミクスにおけるグラフィカルモデルなど、多くの分野でうまく応用されている。
別のモデルのストランドにより、いくつかのノードが遅延し、観測可能なノードの限界分布が指数族から外れ、より複雑な依存を捉えることができる。
これらのアプローチは、ボルツマンマシンや制限されたバージョンのような人工知能における生成モデルの基礎を形成する。
完全に観察された場合と部分的に観察された場合の両方において、確率ベース(すなわち、最大公準と完全ベイズ的の両方)の推論に対する基本的な障壁は、可能性の難易度である。
通常の回避策は、Besag (1974) の先駆的な業績に続き、擬似様相に基づくアプローチを採用することである。
本研究の目的は,これらのモデルの全確率に基づく解析が,計算効率の良い方法で実現可能であることを示すことである。
主な革新はGeyer (1991) の手法を用いて、抽出可能な正規化定数を推定し、その勾配を抽出可能なグラフィカルモデルに当てはめることである。
提案手法の適用性を示すために, 大規模数値結果, 支持理論, 擬似様相に基づくアプローチとの比較を行った。
関連論文リスト
- Embedding-based statistical inference on generative models [10.948308354932639]
生成モデルの埋め込みに基づく表現に関する結果を、古典的な統計的推論設定に拡張する。
類似」の概念の基盤として視点空間を用いることは、複数のモデルレベルの推論タスクに有効であることを示す。
論文 参考訳（メタデータ） (2024-10-01T22:28:39Z) - Estimating Causal Effects from Learned Causal Networks [56.14597641617531]
本稿では、離散可観測変数に対する因果影響クエリに応答する代替パラダイムを提案する。
観測データから直接因果ベイズネットワークとその共起潜伏変数を学習する。
本手法は, 推定手法よりも有効であることを示す。
論文 参考訳（メタデータ） (2024-08-26T08:39:09Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - On the Efficient Marginalization of Probabilistic Sequence Models [3.5897534810405403]
この論文は、複雑な確率的クエリに答えるために自己回帰モデルを使うことに焦点を当てている。
我々は,モデルに依存しない逐次モデルにおいて,境界化のための新しい,効率的な近似手法のクラスを開発する。
論文 参考訳（メタデータ） (2024-03-06T19:29:08Z) - CoCoGen: Physically-Consistent and Conditioned Score-based Generative Models for Forward and Inverse Problems [1.0923877073891446]
この研究は生成モデルの到達範囲を物理的問題領域に拡張する。
基礎となるPDEとの整合性を促進するための効率的なアプローチを提案する。
各種物理課題におけるスコアベース生成モデルの可能性と汎用性を示す。
論文 参考訳（メタデータ） (2023-12-16T19:56:10Z) - Generative Learning of Continuous Data by Tensor Networks [45.49160369119449]
本稿では,連続データのためのテンソルネットワーク生成モデルについて紹介する。
我々は、このモデルの性能を、いくつかの合成および実世界のデータセットでベンチマークする。
本手法は, 急速に成長する生成学習分野において, 量子インスピレーション法の有効性を示す重要な理論的, 実証的な証拠を与える。
論文 参考訳（メタデータ） (2023-10-31T14:37:37Z) - ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。
我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文 参考訳（メタデータ） (2023-04-07T15:17:48Z) - Latent Gaussian Model Boosting [0.0]
ツリーブースティングは多くのデータセットに対して優れた予測精度を示す。
シミュレーションおよび実世界のデータ実験において,既存の手法と比較して予測精度が向上した。
論文 参考訳（メタデータ） (2021-05-19T07:36:30Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳（メタデータ） (2020-10-22T05:04:38Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳（メタデータ） (2020-10-05T20:03:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。