論文の概要: Discrete distributions are learnable from metastable samples
- arxiv url: http://arxiv.org/abs/2410.13800v1
- Date: Thu, 17 Oct 2024 17:38:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-18 13:20:49.858699
- Title: Discrete distributions are learnable from metastable samples
- Title(参考訳): 離散分布は準安定標本から学習可能である
- Authors: Abhijith Jayakumar, Andrey Y. Lokhov, Sidhant Misra, Marc Vuffray,
- Abstract要約: 多変数分布のサンプルとして設計されたマルコフ連鎖サンプリングは、しばしば状態空間の特定の領域で立ち往生する。
本研究では, メタスタビリティ条件を満たす準安定分布の単一変数条件が, 真の分布に近い平均値であることを示す。
- 参考スコア(独自算出の注目度): 8.924669503280333
- License:
- Abstract: Markov chain samplers designed to sample from multi-variable distributions often undesirably get stuck in specific regions of their state space. This causes such samplers to approximately sample from a metastable distribution which is usually quite different from the desired, stationary distribution of the chain. We show that single-variable conditionals of metastable distributions of reversible Markov chain samplers that satisfy a strong metastability condition are on average very close to those of the true distribution. This holds even when the metastable distribution is far away from the true model in terms of global metrics like Kullback-Leibler divergence or total variation distance. This property allows us to learn the true model using a conditional likelihood based estimator, even when the samples come from a metastable distribution concentrated in a small region of the state space. Explicit examples of such metastable states can be constructed from regions that effectively bottleneck the probability flow and cause poor mixing of the Markov chain. For specific cases of binary pairwise undirected graphical models, we extend our results to further rigorously show that data coming from metastable states can be used to learn the parameters of the energy function and recover the structure of the model.
- Abstract(参考訳): 多変数分布のサンプルとして設計されたマルコフ連鎖サンプリング器は、しばしばその状態空間の特定の領域で立ち往生する。
これにより、そのようなサンプルは、通常鎖の所望の定常分布と全く異なる準安定分布からおよそサンプルとなる。
可逆的マルコフ連鎖サンプリング器の準安定分布の単一変数条件は, 高い準安定条件を満たす場合, 真分布に非常に近い値を示す。
これは、Kulback-Leibler の発散や全変動距離といった大域的な指標の観点で、準安定分布が真のモデルから遠く離れている場合でも成り立つ。
この特性により、状態空間の小さな領域に集中した準安定分布からサンプルが来たとしても、条件付き確率に基づく推定器を用いて真のモデルを学ぶことができる。
このような準安定状態の明示的な例は、確率フローを効果的にボトルネックにし、マルコフ連鎖の混合不良を引き起こす領域から構築することができる。
二元対非方向グラフィカルモデルの特定の場合に対しては、メタスタブル状態から来るデータがエネルギー関数のパラメータを学習し、モデルの構造を復元するために利用できることをより厳密に示すために、結果を拡張します。
関連論文リスト
- Ai-Sampler: Adversarial Learning of Markov kernels with involutive maps [28.229819253644862]
本稿では,マルコフ連鎖の遷移核のパラメータ化と訓練を行い,効率的なサンプリングと良好な混合を実現する方法を提案する。
この訓練方法は、チェーンの定常分布とデータの経験分布との総変動距離を最小化する。
論文 参考訳(メタデータ) (2024-06-04T17:00:14Z) - Convergence Analysis of Discrete Diffusion Model: Exact Implementation
through Uniformization [17.535229185525353]
連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。
我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
論文 参考訳(メタデータ) (2024-02-12T22:26:52Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - Sampling, Diffusions, and Stochastic Localization [10.368585938419619]
拡散は高次元分布からサンプリングする手法として成功している。
ローカライゼーション(英: localization)は、マルコフ連鎖と高次元における他の機能的不等式を混合することを証明する手法である。
そこで,[EAMS2022] に局所化のアルゴリズムを導入し,特定の統計力学モデルからアルゴリズムを抽出した。
論文 参考訳(メタデータ) (2023-05-18T04:01:40Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳(メタデータ) (2022-11-30T05:33:29Z) - On counterfactual inference with unobserved confounding [36.18241676876348]
独立だが不均一な単位を持つ観測的研究を前提として、各単位の反実分布を学習することが目的である。
我々は、すべての$n$サンプルをプールして、すべての$n$パラメータベクトルを共同で学習する凸目的を導入する。
対数的ソボレフ不等式を満たすためにコンパクトに支持された分布に対して十分な条件を導出する。
論文 参考訳(メタデータ) (2022-11-14T04:14:37Z) - Score-Based Diffusion meets Annealed Importance Sampling [89.92133671626327]
Annealed Importance Smpling はいまだに限界推定の最も効果的な方法の1つである。
我々は、スコアベース生成モデルにおける最近の進歩を活用し、AIS提案の最適拡張目標分布を近似する。
論文 参考訳(メタデータ) (2022-08-16T12:13:29Z) - Wrapped Distributions on homogeneous Riemannian manifolds [58.720142291102135]
パラメータ、対称性、モダリティなどの分布の性質の制御は、フレキシブルな分布の族を生み出す。
変動型オートエンコーダと潜在空間ネットワークモデル内で提案した分布を利用して,我々のアプローチを実証的に検証する。
論文 参考訳(メタデータ) (2022-04-20T21:25:21Z) - GANs with Variational Entropy Regularizers: Applications in Mitigating
the Mode-Collapse Issue [95.23775347605923]
深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。
GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。
情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
論文 参考訳(メタデータ) (2020-09-24T19:34:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。