論文の概要: Posterior sampling via Langevin dynamics based on generative priors

• arxiv url: http://arxiv.org/abs/2410.02078v1
• Date: Wed, 2 Oct 2024 22:57:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 09:05:40.822732
• Title: Posterior sampling via Langevin dynamics based on generative priors
• Title（参考訳）: 生成前駆体に基づくランゲヴィンダイナミックスによる後部サンプリング
• Authors: Vishal Purohit, Matthew Repasky, Jianfeng Lu, Qiang Qiu, Yao Xie, Xiuyuan Cheng,
• Abstract要約: 生成モデルを用いた高次元空間における後方サンプリングは、様々な応用に有望である。 既存の手法では、新しいサンプルごとに生成プロセス全体を再起動する必要があるため、計算コストがかかる。 事前学習した生成モデルの雑音空間におけるランゲヴィンダイナミクスをシミュレーションし,効率的な後部サンプリングを提案する。
• 参考スコア（独自算出の注目度）: 31.84543941736757
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Posterior sampling in high-dimensional spaces using generative models holds significant promise for various applications, including but not limited to inverse problems and guided generation tasks. Despite many recent developments, generating diverse posterior samples remains a challenge, as existing methods require restarting the entire generative process for each new sample, making the procedure computationally expensive. In this work, we propose efficient posterior sampling by simulating Langevin dynamics in the noise space of a pre-trained generative model. By exploiting the mapping between the noise and data spaces which can be provided by distilled flows or consistency models, our method enables seamless exploration of the posterior without the need to re-run the full sampling chain, drastically reducing computational overhead. Theoretically, we prove a guarantee for the proposed noise-space Langevin dynamics to approximate the posterior, assuming that the generative model sufficiently approximates the prior distribution. Our framework is experimentally validated on image restoration tasks involving noisy linear and nonlinear forward operators applied to LSUN-Bedroom (256 x 256) and ImageNet (64 x 64) datasets. The results demonstrate that our approach generates high-fidelity samples with enhanced semantic diversity even under a limited number of function evaluations, offering superior efficiency and performance compared to existing diffusion-based posterior sampling techniques.
• Abstract（参考訳）: 生成モデルを用いた高次元空間における後方サンプリングは、逆問題やガイド付き生成タスクなどを含む様々な応用において大きな可能性を秘めている。 多くの最近の発展にもかかわらず、既存の手法では、新しいサンプルごとに生成プロセス全体を再起動する必要があるため、様々な後続サンプルを生成することは依然として困難である。 本研究では,事前学習した生成モデルの雑音空間におけるLangevinダイナミクスをシミュレートして,効率的な後部サンプリングを提案する。 蒸留流や整合性モデルによって得られるノイズとデータ空間のマッピングを利用することで, 全サンプリングチェーンの再実行を必要とせずに後方のシームレスな探索が可能となり, 計算オーバーヘッドを大幅に削減できる。 理論的には、生成モデルが先行分布を十分に近似すると仮定して、提案した雑音空間ランゲヴィン力学が後部を近似することを保証している。 本研究では,LSUN-Bedroom (256 x 256) および ImageNet (64 x 64) データセットに適用した非線形および非線形前方演算子を含む画像復元タスクについて実験的に検証した。 提案手法は,機能評価の限られた条件下でも,意味的多様性が向上した高忠実度サンプルを生成し,既存の拡散法よりも効率と性能がよいことを示した。

関連論文リスト

• Enhancing Diffusion Posterior Sampling for Inverse Problems by Integrating Crafted Measurements [45.70011319850862]
  拡散モデルは視覚生成のための強力な基礎モデルとして登場してきた。 現在の後方サンプリングに基づく手法では、測定結果を後方サンプリングに取り込み、対象データの分布を推定する。 本研究は, 早期に高周波情報を早期に導入し, より大きい推定誤差を生じさせることを示す。 工芸品計測を取り入れた新しい拡散後サンプリング手法DPS-CMを提案する。
  論文  参考訳（メタデータ） (2024-11-15T00:06:57Z)
• Posterior Sampling with Denoising Oracles via Tilted Transport [37.14320147233444]
  本稿では, 線形逆問題における対数様の二次構造を利用したテクスタイテッドトランスポート手法を提案する。 我々は、この後続が強く対数凹である条件を定量化し、測定行列の条件数に依存することを強調する。 得られた後続サンプリングスキームは,Isingモデルをサンプリングするために予測された計算しきい値に達することが示されている。
  論文  参考訳（メタデータ） (2024-06-30T16:11:42Z)
• Score-based Generative Models with Adaptive Momentum [40.84399531998246]
  変換過程を高速化する適応運動量サンプリング法を提案する。 提案手法は,2倍から5倍の速度で,より忠実な画像/グラフを小さなサンプリングステップで作成できることを示す。
  論文  参考訳（メタデータ） (2024-05-22T15:20:27Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Score-based Diffusion Models in Function Space [140.792362459734]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• Latent Autoregressive Source Separation [5.871054749661012]
  本稿では,ベクトル量子化遅延自己回帰音源分離(入力信号を構成源にデミックスする)を導入する。 分離法は, 自己回帰モデルが先行するベイズ式に依拠し, 付加トークンの潜在和に対して離散的(非パラメトリック)確率関数を構築した。
  論文  参考訳（メタデータ） (2023-01-09T17:32:00Z)
• Diffusion Posterior Sampling for General Noisy Inverse Problems [50.873313752797124]
  我々は、後方サンプリングの近似により、雑音(非線形)逆問題に対処するために拡散解法を拡張した。 本手法は,拡散モデルが様々な計測ノイズ統計を組み込むことができることを示す。
  論文  参考訳（メタデータ） (2022-09-29T11:12:27Z)
• Score-Guided Intermediate Layer Optimization: Fast Langevin Mixing for Inverse Problem [97.64313409741614]
  ランダム重み付きDNNジェネレータを反転させるため,Langevinアルゴリズムの定常分布を高速に混合し,特徴付ける。 本稿では,事前学習した生成モデルの潜時空間における後部サンプリングを提案する。
  論文  参考訳（メタデータ） (2022-06-18T03:47:37Z)
• Anytime Sampling for Autoregressive Models via Ordered Autoencoding [88.01906682843618]
  自動回帰モデルは画像生成や音声生成などのタスクに広く使われている。 これらのモデルのサンプリングプロセスは割り込みを許さず、リアルタイムの計算資源に適応できない。 いつでもサンプリングできる新しい自動回帰モデルファミリーを提案します。
  論文  参考訳（メタデータ） (2021-02-23T05:13:16Z)
• Learning Energy-Based Models by Diffusion Recovery Likelihood [61.069760183331745]
  本稿では,エネルギーベースモデルから気軽に学習・サンプルできる拡散回復可能性法を提案する。 学習後、ガウスの白色雑音分布から初期化するサンプリングプロセスにより合成画像を生成することができる。 非条件 CIFAR-10 では,本手法は FID 9.58 と開始スコア 8.30 を達成する。
  論文  参考訳（メタデータ） (2020-12-15T07:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。