論文の概要: Improved sampling via learned diffusions

• arxiv url: http://arxiv.org/abs/2307.01198v2
• Date: Thu, 23 May 2024 13:15:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-26 21:12:42.611088
• Title: Improved sampling via learned diffusions
• Title（参考訳）: 学習拡散によるサンプリングの改善
• Authors: Lorenz Richter, Julius Berner,
• Abstract要約: 近年,制御拡散過程を用いた対象分布からの深層学習に基づくアプローチが提案されている。 我々はこれらのアプローチを一般化されたシュリンガー橋問題(英語版)の特別な場合とみなす。 時間反転拡散過程の経路空間測度間のばらつきに基づく変分定式化を提案する。
• 参考スコア（独自算出の注目度）: 8.916420423563478
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, a series of papers proposed deep learning-based approaches to sample from target distributions using controlled diffusion processes, being trained only on the unnormalized target densities without access to samples. Building on previous work, we identify these approaches as special cases of a generalized Schr\"odinger bridge problem, seeking a stochastic evolution between a given prior distribution and the specified target. We further generalize this framework by introducing a variational formulation based on divergences between path space measures of time-reversed diffusion processes. This abstract perspective leads to practical losses that can be optimized by gradient-based algorithms and includes previous objectives as special cases. At the same time, it allows us to consider divergences other than the reverse Kullback-Leibler divergence that is known to suffer from mode collapse. In particular, we propose the so-called log-variance loss, which exhibits favorable numerical properties and leads to significantly improved performance across all considered approaches.
• Abstract（参考訳）: 近年, 制御拡散法を用いて, 対象分布からサンプルを抽出する深層学習手法が提案されている。 従来の研究に基づいて,これらの手法を一般化されたシュリンガー橋問題(Schr\"odinger bridge problem)の特別な場合として,所定の事前分布と指定された目標の間の確率的進化を求める。 我々は、時間反転拡散過程の経路空間測度間のばらつきに基づく変分定式化を導入することにより、この枠組みをさらに一般化する。 この抽象的な視点は、勾配に基づくアルゴリズムによって最適化され、特別な場合として以前の目的を含む実用的な損失をもたらす。 同時に、モード崩壊に苦しむことが知られている逆のクルバック・リーブラー発散以外の発散も検討できる。 特に, 対数分散損失(log-variance loss)という, 良好な数値特性を示し, 検討された全てのアプローチにおいて, 性能を著しく向上させる手法を提案する。

関連論文リスト

• Learned Reference-based Diffusion Sampling for multi-modal distributions [2.1383136715042417]
  本稿では,学習参照に基づく拡散サンプリング(LRDS)について紹介する。 LRDSは、高密度空間領域にあるサンプルの参照拡散モデルを学ぶことによって、2段階で進行する。 LRDSは、様々な難解な分布上の競合するアルゴリズムと比較して、目標分布に関する事前知識を最大限に活用することが実験的に実証された。
  論文  参考訳（メタデータ） (2024-10-25T10:23:34Z)
• Amortized Posterior Sampling with Diffusion Prior Distillation [55.03585818289934]
  逆問題の解法として, 後方分布からのサンプルの変分推論手法を提案する。 本手法はユークリッド空間の標準信号や多様体上の信号に適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-07-25T09:53:12Z)
• Diffusion Prior-Based Amortized Variational Inference for Noisy Inverse Problems [12.482127049881026]
  そこで本稿では, 償却変分推論の観点から, 拡散による逆問題の解法を提案する。 我々の償却推論は、測定結果を対応するクリーンデータの暗黙の後方分布に直接マッピングする関数を学習し、未知の計測でも単一ステップの後方サンプリングを可能にする。
  論文  参考訳（メタデータ） (2024-07-23T02:14:18Z)
• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)
• Improving Diffusion Models for Inverse Problems Using Optimal Posterior Covariance [52.093434664236014]
  近年の拡散モデルは、特定の逆問題に対して再訓練することなく、ノイズの多い線形逆問題に対する有望なゼロショット解を提供する。 この発見に触発されて、我々は、最大推定値から決定されるより原理化された共分散を用いて、最近の手法を改善することを提案する。
  論文  参考訳（メタデータ） (2024-02-03T13:35:39Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Deep Injective Prior for Inverse Scattering [16.36016615416872]
  電磁的逆散乱において、目的は散乱波を用いて物体の誘電率を再構成することである。 ディープラーニングはイテレーティブな問題解決の代替手段としての可能性を示してきた。 深部生成モデルに基づく逆散乱のためのデータ駆動型フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-08T19:05:51Z)
• Resampling Base Distributions of Normalizing Flows [0.0]
  学習された拒絶サンプリングに基づいて,フローを正規化するためのベース分布を導入する。 ログライクリフの最大化と逆Kulback-Leibler分散の最適化の両方を用いて、適切な学習アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-10-29T14:44:44Z)
• Moment-Based Variational Inference for Stochastic Differential Equations [31.494103873662343]
  我々は,前処理の制御バージョンとして変分過程を構築する。 我々は、モーメント関数のセットによって後部を近似する。 モーメント閉包と組み合わせて、平滑化問題は決定論的最適制御問題に還元される。
  論文  参考訳（メタデータ） (2021-03-01T13:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。