論文の概要: On Independent Samples Along the Langevin Diffusion and the Unadjusted Langevin Algorithm

• arxiv url: http://arxiv.org/abs/2402.17067v1
• Date: Mon, 26 Feb 2024 23:05:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 18:21:55.990477
• Title: On Independent Samples Along the Langevin Diffusion and the Unadjusted Langevin Algorithm
• Title（参考訳）: ランゲヴィン拡散と未調整ランゲヴィンアルゴリズムに沿った独立サンプルについて
• Authors: Jiaming Liang, Siddharth Mitra, Andre Wibisono
• Abstract要約: マルコフ連鎖に沿って初期および現在の確率変数が独立になる速度について検討する。 連続時間におけるランゲヴィン拡散と離散時間における非調整ランゲヴィンアルゴリズム(ULA)に着目した。
• 参考スコア（独自算出の注目度）: 18.595570786973948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the rate at which the initial and current random variables become independent along a Markov chain, focusing on the Langevin diffusion in continuous time and the Unadjusted Langevin Algorithm (ULA) in discrete time. We measure the dependence between random variables via their mutual information. For the Langevin diffusion, we show the mutual information converges to $0$ exponentially fast when the target is strongly log-concave, and at a polynomial rate when the target is weakly log-concave. These rates are analogous to the mixing time of the Langevin diffusion under similar assumptions. For the ULA, we show the mutual information converges to $0$ exponentially fast when the target is strongly log-concave and smooth. We prove our results by developing the mutual version of the mixing time analyses of these Markov chains. We also provide alternative proofs based on strong data processing inequalities for the Langevin diffusion and the ULA, and by showing regularity results for these processes in mutual information.
• Abstract（参考訳）: マルコフ連鎖に沿って初期および現在の確率変数が独立となる速度について検討し、連続時間におけるランゲヴィン拡散と離散時間における非調整ランゲヴィンアルゴリズム(ULA)に着目した。 確率変数間の依存度を相互情報を用いて測定する。 ランゲヴィン拡散については、ターゲットが強い対数対数ならば指数関数的に$0$に収束し、ターゲットが弱い対数対数では多項式速度で収束することを示す。 これらの速度は、同様の仮定の下でランゲヴィン拡散の混合時間に類似している。 ULAでは、ターゲットが強い対数凹凸で滑らかな場合、相互情報が指数関数的に0$に収束することを示す。 我々は,これらのマルコフ鎖の混合時間解析の相互バージョンを開発し,結果を証明する。 また、Langevin拡散とULAの強いデータ処理の不等式に基づく代替的証明も提供し、これらのプロセスの正則性結果を相互情報で示す。

関連論文リスト

• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• An Improved Analysis of Langevin Algorithms with Prior Diffusion for Non-Log-Concave Sampling [27.882407333690267]
  本研究では, 先行拡散を用いた改良型ランゲヴィンアルゴリズムが, 強対数対数対象分布に対して独立に次元を収束させることができることを示す。 また、修正したランゲヴィンアルゴリズムは、異なるステップサイズスケジュールを持つKL発散の次元非依存収束も得ることを証明した。
  論文  参考訳（メタデータ） (2024-03-10T11:50:34Z)
• Time Series Diffusion in the Frequency Domain [54.60573052311487]
  周波数領域における時系列表現がスコアベース拡散モデルに有用な帰納バイアスであるか否かを解析する。 重要なニュアンスを持つ周波数領域において、二重拡散過程が生じることを示す。 周波数領域に拡散モデルを実装するために,デノナイジングスコアマッチング手法を適用する方法を示す。
  論文  参考訳（メタデータ） (2024-02-08T18:59:05Z)
• Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems [78.96969465641024]
  平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。 また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
  論文  参考訳（メタデータ） (2023-12-02T13:01:29Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Subsampling Error in Stochastic Gradient Langevin Diffusions [0.7900303955225063]
  グラディエント・ランゲヴィン・ダイナミクス(英語版)(SGLD)は、統計的学習手順におけるベイズ的後続分布を大規模データで近似するために一般的に用いられる。 第1のエラーは、Langevin拡散プロセスのEuler-Maruyama離散化によって導入され、第2のエラーは、大規模なデータ設定での使用を可能にするデータサブサンプリングに由来する。 SLGDiffの指数的エルゴード性を示し、SGLDiffの後方と制限分布の間のワッサーシュタイン距離が平均待ち時間の分断パワーによって上界していることを示す。
  論文  参考訳（メタデータ） (2023-05-23T10:03:40Z)
• Resolving the Mixing Time of the Langevin Algorithm to its Stationary Distribution for Log-Concave Sampling [34.66940399825547]
  本稿では,Langevinアルゴリズムの定常分布に対する混合時間の特徴について述べる。 本稿では,差分プライバシー文献からサンプリング文献へのアプローチを紹介する。
  論文  参考訳（メタデータ） (2022-10-16T05:11:16Z)
• Diffusion-GAN: Training GANs with Diffusion [135.24433011977874]
  GAN(Generative Adversarial Network)は、安定してトレーニングすることが難しい。 フォワード拡散チェーンを利用してインスタンスノイズを生成する新しいGANフレームワークであるDiffusion-GANを提案する。 我々は,Diffusion-GANにより,最先端のGANよりも高い安定性とデータ効率で,よりリアルな画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2022-06-05T20:45:01Z)
• Time-inhomogeneous diffusion geometry and topology [69.55228523791897]
  拡散凝縮(英: Diffusion condensation)は、各ステップが最初に計算し、そのデータに拡散演算子を適用する時間不均質な過程である。 我々はこの過程の収束と進化を幾何学的、スペクトル的、位相的観点から理論的に分析する。 我々の研究は拡散凝縮の収束に関する理論的洞察を与え、トポロジカルデータ解析と幾何学的データ解析のリンクを提供することを示している。
  論文  参考訳（メタデータ） (2022-03-28T16:06:17Z)
• Spread of Correlations in Strongly Disordered Lattice Systems with Long-Range Coupling [0.0]
  本研究では, 高オンサイトエネルギー障害を有する1次元格子系における励起による相関関係の拡散について検討した。 初期焼成ノードと与えられたノードとの相関の増大は、時間2次、時間2次、時間2次、飽和の3つのフェーズを示す。
  論文  参考訳（メタデータ） (2021-06-15T15:47:20Z)
• Exponential ergodicity of mirror-Langevin diffusions [16.012656579770827]
  我々はNewton-Langevin拡散と呼ばれる拡散のクラスを提案し、それらが指数関数的に定常性に収束することを証明した。 本研究では, 内部点法に着想を得た戦略を用いて, 凸体上の均一分布からのサンプリング問題に適用する。
  論文  参考訳（メタデータ） (2020-05-19T18:00:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。