論文の概要: Discrete distributions are learnable from metastable samples
- arxiv url: http://arxiv.org/abs/2410.13800v1
- Date: Thu, 17 Oct 2024 17:38:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-18 13:20:49.858699
- Title: Discrete distributions are learnable from metastable samples
- Title（参考訳）: 離散分布は準安定標本から学習可能である
- Authors: Abhijith Jayakumar, Andrey Y. Lokhov, Sidhant Misra, Marc Vuffray,
- Abstract要約: 多変数分布のサンプルとして設計されたマルコフ連鎖サンプリングは、しばしば状態空間の特定の領域で立ち往生する。
本研究では, メタスタビリティ条件を満たす準安定分布の単一変数条件が, 真の分布に近い平均値であることを示す。
- 参考スコア（独自算出の注目度）: 8.924669503280333
- License:
- Abstract: Markov chain samplers designed to sample from multi-variable distributions often undesirably get stuck in specific regions of their state space. This causes such samplers to approximately sample from a metastable distribution which is usually quite different from the desired, stationary distribution of the chain. We show that single-variable conditionals of metastable distributions of reversible Markov chain samplers that satisfy a strong metastability condition are on average very close to those of the true distribution. This holds even when the metastable distribution is far away from the true model in terms of global metrics like Kullback-Leibler divergence or total variation distance. This property allows us to learn the true model using a conditional likelihood based estimator, even when the samples come from a metastable distribution concentrated in a small region of the state space. Explicit examples of such metastable states can be constructed from regions that effectively bottleneck the probability flow and cause poor mixing of the Markov chain. For specific cases of binary pairwise undirected graphical models, we extend our results to further rigorously show that data coming from metastable states can be used to learn the parameters of the energy function and recover the structure of the model.
- Abstract（参考訳）: 多変数分布のサンプルとして設計されたマルコフ連鎖サンプリング器は、しばしばその状態空間の特定の領域で立ち往生する。
これにより、そのようなサンプルは、通常鎖の所望の定常分布と全く異なる準安定分布からおよそサンプルとなる。
可逆的マルコフ連鎖サンプリング器の準安定分布の単一変数条件は, 高い準安定条件を満たす場合, 真分布に非常に近い値を示す。
これは、Kulback-Leibler の発散や全変動距離といった大域的な指標の観点で、準安定分布が真のモデルから遠く離れている場合でも成り立つ。
この特性により、状態空間の小さな領域に集中した準安定分布からサンプルが来たとしても、条件付き確率に基づく推定器を用いて真のモデルを学ぶことができる。
このような準安定状態の明示的な例は、確率フローを効果的にボトルネックにし、マルコフ連鎖の混合不良を引き起こす領域から構築することができる。
二元対非方向グラフィカルモデルの特定の場合に対しては、メタスタブル状態から来るデータがエネルギー関数のパラメータを学習し、モデルの構造を復元するために利用できることをより厳密に示すために、結果を拡張します。
関連論文リスト
- Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。
その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。
この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文 参考訳（メタデータ） (2024-10-17T16:42:12Z) - Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。
本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。
我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
論文 参考訳（メタデータ） (2024-10-03T09:07:13Z) - Stochastic Sampling from Deterministic Flow Models [8.849981177332594]
そこで本論文では,フローモデルを同じ境界分布を持つ微分方程式の族(SDE)に変換する手法を提案する。
我々は,おもちゃのガウスセットアップと大規模イメージネット生成タスクにおいて,提案手法の利点を実証的に実証した。
論文 参考訳（メタデータ） (2024-10-03T05:18:28Z) - Conditional sampling within generative diffusion models [12.608803080528142]
生成拡散モデルにおける条件付きサンプリングに対する既存の計算手法について概説する。
共同分布を利用するか、あるいは明示的な可能性を持つ(事前訓練された)境界分布に依存する重要な手法を強調します。
論文 参考訳（メタデータ） (2024-09-15T07:48:40Z) - Ai-Sampler: Adversarial Learning of Markov kernels with involutive maps [28.229819253644862]
本稿では,マルコフ連鎖の遷移核のパラメータ化と訓練を行い,効率的なサンプリングと良好な混合を実現する方法を提案する。
この訓練方法は、チェーンの定常分布とデータの経験分布との総変動距離を最小化する。
論文 参考訳（メタデータ） (2024-06-04T17:00:14Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Sampling, Diffusions, and Stochastic Localization [10.368585938419619]
拡散は高次元分布からサンプリングする手法として成功している。
ローカライゼーション(英: localization)は、マルコフ連鎖と高次元における他の機能的不等式を混合することを証明する手法である。
そこで,[EAMS2022] に局所化のアルゴリズムを導入し,特定の統計力学モデルからアルゴリズムを抽出した。
論文 参考訳（メタデータ） (2023-05-18T04:01:40Z) - Score-Based Diffusion meets Annealed Importance Sampling [89.92133671626327]
Annealed Importance Smpling はいまだに限界推定の最も効果的な方法の1つである。
我々は、スコアベース生成モデルにおける最近の進歩を活用し、AIS提案の最適拡張目標分布を近似する。
論文 参考訳（メタデータ） (2022-08-16T12:13:29Z) - Wrapped Distributions on homogeneous Riemannian manifolds [58.720142291102135]
パラメータ、対称性、モダリティなどの分布の性質の制御は、フレキシブルな分布の族を生み出す。
変動型オートエンコーダと潜在空間ネットワークモデル内で提案した分布を利用して,我々のアプローチを実証的に検証する。
論文 参考訳（メタデータ） (2022-04-20T21:25:21Z) - Targeted stochastic gradient Markov chain Monte Carlo for hidden Markov models with rare latent states [48.705095800341944]
隠れマルコフモデルのためのマルコフ連鎖モンテカルロ (MCMC) アルゴリズムは、しばしば前向きのサンプリング器に依存する。
これにより、時系列の長さが増加するにつれて計算が遅くなり、サブサンプリングベースのアプローチの開発が動機となる。
本稿では,パラメータの勾配を計算する際に,希少な潜伏状態に対応するオーバーサンプリング観測を対象とするサブサンプリング手法を提案する。
論文 参考訳（メタデータ） (2018-10-31T17:44:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。