論文の概要: Discrete distributions are learnable from metastable samples

• arxiv url: http://arxiv.org/abs/2410.13800v1
• Date: Thu, 17 Oct 2024 17:38:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:20:49.858699
• Title: Discrete distributions are learnable from metastable samples
• Title（参考訳）: 離散分布は準安定標本から学習可能である
• Authors: Abhijith Jayakumar, Andrey Y. Lokhov, Sidhant Misra, Marc Vuffray,
• Abstract要約: 多変数分布のサンプルとして設計されたマルコフ連鎖サンプリングは、しばしば状態空間の特定の領域で立ち往生する。 本研究では, メタスタビリティ条件を満たす準安定分布の単一変数条件が, 真の分布に近い平均値であることを示す。
• 参考スコア（独自算出の注目度）: 8.924669503280333
• License:
• Abstract: Markov chain samplers designed to sample from multi-variable distributions often undesirably get stuck in specific regions of their state space. This causes such samplers to approximately sample from a metastable distribution which is usually quite different from the desired, stationary distribution of the chain. We show that single-variable conditionals of metastable distributions of reversible Markov chain samplers that satisfy a strong metastability condition are on average very close to those of the true distribution. This holds even when the metastable distribution is far away from the true model in terms of global metrics like Kullback-Leibler divergence or total variation distance. This property allows us to learn the true model using a conditional likelihood based estimator, even when the samples come from a metastable distribution concentrated in a small region of the state space. Explicit examples of such metastable states can be constructed from regions that effectively bottleneck the probability flow and cause poor mixing of the Markov chain. For specific cases of binary pairwise undirected graphical models, we extend our results to further rigorously show that data coming from metastable states can be used to learn the parameters of the energy function and recover the structure of the model.
• Abstract（参考訳）: 多変数分布のサンプルとして設計されたマルコフ連鎖サンプリング器は、しばしばその状態空間の特定の領域で立ち往生する。 これにより、そのようなサンプルは、通常鎖の所望の定常分布と全く異なる準安定分布からおよそサンプルとなる。 可逆的マルコフ連鎖サンプリング器の準安定分布の単一変数条件は, 高い準安定条件を満たす場合, 真分布に非常に近い値を示す。 これは、Kulback-Leibler の発散や全変動距離といった大域的な指標の観点で、準安定分布が真のモデルから遠く離れている場合でも成り立つ。 この特性により、状態空間の小さな領域に集中した準安定分布からサンプルが来たとしても、条件付き確率に基づく推定器を用いて真のモデルを学ぶことができる。 このような準安定状態の明示的な例は、確率フローを効果的にボトルネックにし、マルコフ連鎖の混合不良を引き起こす領域から構築することができる。 二元対非方向グラフィカルモデルの特定の場合に対しては、メタスタブル状態から来るデータがエネルギー関数のパラメータを学習し、モデルの構造を復元するために利用できることをより厳密に示すために、結果を拡張します。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Hessian-Informed Flow Matching [4.542719108171107]
  Hessian-Informed Flow Matchingは、エネルギー関数のHessianを条件流に統合する新しいアプローチである。 この積分により、HI-FMは局所曲率と異方性共分散構造を考慮できる。 MNIST と Lennard-Jones 粒子のデータセットに関する実証的な評価は、HI-FM が試験サンプルの可能性を改善していることを示している。
  論文  参考訳（メタデータ） (2024-10-15T09:34:52Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Your Absorbing Discrete Diffusion Secretly Models the Conditional Distributions of Clean Data [55.54827581105283]
  本研究では, 吸収拡散の具体的なスコアを, クリーンデータの条件付き確率として表すことができることを示す。 時間に依存しない条件付き確率を特徴付ける時間条件のない専用拡散モデルを提案する。 5つのゼロショット言語モデルベンチマークにおける拡散モデル間のSOTA性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T04:22:11Z)
• Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization [17.535229185525353]
  連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。 我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-12T22:26:52Z)
• User-defined Event Sampling and Uncertainty Quantification in Diffusion Models for Physical Dynamical Systems [49.75149094527068]
  拡散モデルを用いて予測を行い,カオス力学系に対する不確かさの定量化が可能であることを示す。 本研究では,雑音レベルが低下するにつれて真の分布に収束する条件付きスコア関数の確率的近似法を開発する。 推論時に非線形ユーザ定義イベントを条件付きでサンプリングすることができ、分布の尾部からサンプリングした場合でもデータ統計と一致させることができる。
  論文  参考訳（メタデータ） (2023-06-13T03:42:03Z)
• Sampling, Diffusions, and Stochastic Localization [10.368585938419619]
  拡散は高次元分布からサンプリングする手法として成功している。 ローカライゼーション(英: localization)は、マルコフ連鎖と高次元における他の機能的不等式を混合することを証明する手法である。 そこで,[EAMS2022] に局所化のアルゴリズムを導入し,特定の統計力学モデルからアルゴリズムを抽出した。
  論文  参考訳（メタデータ） (2023-05-18T04:01:40Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• A likelihood approach to nonparametric estimation of a singular distribution using deep generative models [4.329951775163721]
  深部生成モデルを用いた特異分布の非パラメトリック推定の可能性について検討する。 我々は、インスタンスノイズでデータを摂動することで、新しい効果的な解が存在することを証明した。 また、より深い生成モデルにより効率的に推定できる分布のクラスを特徴付ける。
  論文  参考訳（メタデータ） (2021-05-09T23:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。