論文の概要: Observation-Guided Diffusion Probabilistic Models
- arxiv url: http://arxiv.org/abs/2310.04041v1
- Date: Fri, 6 Oct 2023 06:29:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-10 01:26:07.381409
- Title: Observation-Guided Diffusion Probabilistic Models
- Title(参考訳): 観測誘導拡散確率モデル
- Authors: Junoh Kang, Jinyoung Choi, Sungik Choi, Bohyung Han
- Abstract要約: 観測誘導拡散確率モデル(OGDM)と呼ばれる新しい拡散モデルを提案する。
本手法は,観測プロセスの指導をマルコフ連鎖と統合することにより,トレーニング目標を再構築する。
本研究では,強い拡散モデルベースラインに対する多種多様な推論手法を用いた学習アルゴリズムの有効性を示す。
- 参考スコア(独自算出の注目度): 45.60819186624553
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We propose a novel diffusion model called observation-guided diffusion
probabilistic model (OGDM), which effectively addresses the trade-off between
quality control and fast sampling. Our approach reestablishes the training
objective by integrating the guidance of the observation process with the
Markov chain in a principled way. This is achieved by introducing an additional
loss term derived from the observation based on the conditional discriminator
on noise level, which employs Bernoulli distribution indicating whether its
input lies on the (noisy) real manifold or not. This strategy allows us to
optimize the more accurate negative log-likelihood induced in the inference
stage especially when the number of function evaluations is limited. The
proposed training method is also advantageous even when incorporated only into
the fine-tuning process, and it is compatible with various fast inference
strategies since our method yields better denoising networks using the exactly
same inference procedure without incurring extra computational cost. We
demonstrate the effectiveness of the proposed training algorithm using diverse
inference methods on strong diffusion model baselines.
- Abstract(参考訳): 本稿では,品質制御と高速サンプリングのトレードオフを効果的に解決する,観測誘導拡散確率モデル(ogdm)と呼ばれる新しい拡散モデルを提案する。
本手法は,観測プロセスの指導をマルコフ連鎖と原則的に統合することにより,トレーニング目標を再構築する。
これは、雑音レベルにおける条件付き判別器に基づく観測に基づく追加の損失項を導入し、その入力が(ノイズ)実多様体上にあるか否かを示すベルヌーイ分布を用いる。
この戦略により、特に関数評価の数に制限がある場合に、推論段階で誘導されるより正確な負のログ類似度を最適化できる。
提案手法は微調整処理にのみ組み込んだ場合においても有利であり,計算コストを余分に必要とせずに,全く同じ推論手順でネットワークをノイズ除去できるため,様々な高速推論戦略と適合する。
本研究では,強い拡散モデルベースラインに対する多様な推論手法を用いた学習アルゴリズムの有効性を示す。
関連論文リスト
- Uncertainty Quantification via Stable Distribution Propagation [60.065272548502]
本稿では,ニューラルネットワークによる安定確率分布の伝播手法を提案する。
提案手法は局所線形化に基づいており,ReLU非線型性に対する全変動距離の近似値として最適であることを示す。
論文 参考訳(メタデータ) (2024-02-13T09:40:19Z) - On diffusion models for amortized inference: Benchmarking and improving
stochastic control and sampling [96.7808454149545]
本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。
シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。
我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
論文 参考訳(メタデータ) (2024-02-07T18:51:49Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Debias the Training of Diffusion Models [53.49637348771626]
本研究では,拡散モデルにおいて一定の損失重み戦略を用いることで,トレーニング期間中に偏りが生じるという理論的証拠を提供する。
理論的に偏りのない原理に基づくエレガントで効果的な重み付け戦略を提案する。
これらの分析は、拡散モデルの内部動作の理解とデミステレーションを促進することが期待されている。
論文 参考訳(メタデータ) (2023-10-12T16:04:41Z) - Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。
複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。
提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
論文 参考訳(メタデータ) (2023-10-10T14:06:56Z) - Sampling with flows, diffusion and autoregressive neural networks: A
spin-glass perspective [18.278073129757466]
障害系の統計物理学において広く研究されている確率分布のクラスに焦点をあてる。
我々は,フローベース,拡散ベース,自己回帰的ネットワーク手法によるサンプリングをベイズ最適分解法の解析に等価にマッピングできるという事実を活用する。
これらの手法が効率的にサンプリングできないパラメータの領域を同定し、標準モンテカルロ法やランゲヴィン法を用いてそれを可能にする。
論文 参考訳(メタデータ) (2023-08-27T12:16:33Z) - Deblurring via Stochastic Refinement [85.42730934561101]
条件付き拡散モデルに基づくブラインドデブロアリングのための代替フレームワークを提案する。
提案手法は,PSNRなどの歪み指標の点で競合する。
論文 参考訳(メタデータ) (2021-12-05T04:36:09Z) - Robust Correction of Sampling Bias Using Cumulative Distribution
Functions [19.551668880584973]
変数ドメインとバイアス付きデータセットは、トレーニングとターゲット分布の違いにつながる可能性がある。
これを緩和するための現在のアプローチは、しばしばトレーニングとターゲット確率密度関数の比率を推定することに依存する。
論文 参考訳(メタデータ) (2020-10-23T22:13:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。