論文の概要: Sampling, Diffusions, and Stochastic Localization
- arxiv url: http://arxiv.org/abs/2305.10690v1
- Date: Thu, 18 May 2023 04:01:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-19 17:00:29.230863
- Title: Sampling, Diffusions, and Stochastic Localization
- Title(参考訳): サンプリング,拡散,確率的局在化
- Authors: Andrea Montanari
- Abstract要約: 拡散は高次元分布からサンプリングする手法として成功している。
ローカライゼーション(英: localization)は、マルコフ連鎖と高次元における他の機能的不等式を混合することを証明する手法である。
そこで,[EAMS2022] に局所化のアルゴリズムを導入し,特定の統計力学モデルからアルゴリズムを抽出した。
- 参考スコア(独自算出の注目度): 10.368585938419619
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusions are a successful technique to sample from high-dimensional
distributions can be either explicitly given or learnt from a collection of
samples. They implement a diffusion process whose endpoint is a sample from the
target distribution and whose drift is typically represented as a neural
network. Stochastic localization is a successful technique to prove mixing of
Markov Chains and other functional inequalities in high dimension. An
algorithmic version of stochastic localization was introduced in [EAMS2022], to
obtain an algorithm that samples from certain statistical mechanics models.
This notes have three objectives: (i) Generalize the construction [EAMS2022]
to other stochastic localization processes; (ii) Clarify the connection between
diffusions and stochastic localization. In particular we show that standard
denoising diffusions are stochastic localizations but other examples that are
naturally suggested by the proposed viewpoint; (iii) Describe some insights
that follow from this viewpoint.
- Abstract(参考訳): 拡散は、高次元分布からサンプルを明示的に与えたり、サンプルの集合から学習したりする手法である。
彼らは、エンドポイントがターゲット分布からのサンプルであり、一般的にはニューラルネットワークとして表現される拡散プロセスを実装する。
確率的ローカライゼーションはマルコフ連鎖と高次元における他の機能的不等式を混合する手法として成功している。
確率的ローカライゼーションのアルゴリズム版が[EAMS2022]に導入され,特定の統計力学モデルから抽出するアルゴリズムが得られた。
このノートには3つの目的がある。
一 建設[EAMS2022]を他の確率的ローカライゼーションプロセスに一般化すること。
(ii)拡散と確率的局在の関係を明らかにする。
特に,標準分母拡散は確率的局所化であるが,提案する観点から自然に示唆される他の例であることを示す。
(iii)この観点からの考察について述べる。
関連論文リスト
- Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian
Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。
本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文 参考訳(メタデータ) (2024-03-03T23:15:48Z) - Stochastic Localization via Iterative Posterior Sampling [0.40964539027092917]
我々は、一般的なローカライゼーションフレームワークを検討し、フレキシブルなdenoisingスケジュールに関連する観察プロセスの明示的なクラスを導入する。
我々は、このダイナミクスの近似的なサンプルを得るために、SLIPS(Iterative Posterior Sampling$)による@textitStochastic Localizationという完全な方法論と、ターゲット分布からサンプルを得る副産物を提供する。
我々のスキームはマルコフ連鎖モンテカルロによるデノイザーの推定に基づいており、詳細な実践的ガイドラインが付属している。
論文 参考訳(メタデータ) (2024-02-16T15:28:41Z) - Convergence Analysis of Discrete Diffusion Model: Exact Implementation
through Uniformization [17.535229185525353]
連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。
我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
論文 参考訳(メタデータ) (2024-02-12T22:26:52Z) - On diffusion models for amortized inference: Benchmarking and improving
stochastic control and sampling [96.7808454149545]
本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。
シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。
我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
論文 参考訳(メタデータ) (2024-02-07T18:51:49Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Structured Voronoi Sampling [69.26504269777544]
本稿では,勾配に基づく手法を用いた言語モデルから抽出する原理的アプローチの構築に向けて重要な一歩を踏み出す。
我々は勾配に基づく構造ヴォロノイサンプリング(Structured Voronoi Smpling, SVS)と呼ぶ。
制御された生成タスクでは、SVSは流動的で多様なサンプルを生成できるが、制御対象は他の方法よりもはるかに優れている。
論文 参考訳(メタデータ) (2023-06-05T17:32:35Z) - Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces [0.0]
前方拡散過程における任意の離散状態マルコフ過程の理論的定式化を開発する。
例えばBlackout Diffusion'は、ノイズからではなく、空のイメージからサンプルを生成することを学習する。
論文 参考訳(メタデータ) (2023-05-18T16:24:12Z) - Example-Based Sampling with Diffusion Models [7.943023838493658]
画像生成のための拡散モデルは、例から点集合を生成する方法を学ぶのに適している。
拡散モデルを用いて既存のサンプルを模した2次元点集合を観測点集合から生成する方法を提案する。
我々は、我々のアプローチの微分可能性を用いて、特性を強制する点集合を最適化する方法を実証する。
論文 参考訳(メタデータ) (2023-02-10T08:35:17Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳(メタデータ) (2022-11-30T05:33:29Z) - Stein Variational Inference for Discrete Distributions [70.19352762933259]
離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。
提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。
我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。
さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
論文 参考訳(メタデータ) (2020-03-01T22:45:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。