論文の概要: Rethinking Diffusion Posterior Sampling: From Conditional Score Estimator to Maximizing a Posterior
- arxiv url: http://arxiv.org/abs/2501.18913v1
- Date: Fri, 31 Jan 2025 06:26:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-03 14:01:57.641749
- Title: Rethinking Diffusion Posterior Sampling: From Conditional Score Estimator to Maximizing a Posterior
- Title（参考訳）: 拡散後サンプリングの再考:条件付きスコア推定器から後方最大化へ
- Authors: Tongda Xu, Xiyan Cai, Xinjie Zhang, Xingtong Ge, Dailan He, Ming Sun, Jingjing Liu, Ya-Qin Zhang, Jian Li, Yan Wang,
- Abstract要約: DPSが用いる条件スコア近似は、以前想定したほど効果的ではないことを示す。
この主張は、512x512 ImageNet画像上のDPSを調べることによって裏付けられる。
1) 多段階の上昇勾配と投射による後方の最大化,2)100個の画像と8個のGPU時間で訓練された軽量条件付きスコア推定器を利用する。
- 参考スコア（独自算出の注目度）: 21.721254947254234
- License:
- Abstract: Recent advancements in diffusion models have been leveraged to address inverse problems without additional training, and Diffusion Posterior Sampling (DPS) (Chung et al., 2022a) is among the most popular approaches. Previous analyses suggest that DPS accomplishes posterior sampling by approximating the conditional score. While in this paper, we demonstrate that the conditional score approximation employed by DPS is not as effective as previously assumed, but rather aligns more closely with the principle of maximizing a posterior (MAP). This assertion is substantiated through an examination of DPS on 512x512 ImageNet images, revealing that: 1) DPS's conditional score estimation significantly diverges from the score of a well-trained conditional diffusion model and is even inferior to the unconditional score; 2) The mean of DPS's conditional score estimation deviates significantly from zero, rendering it an invalid score estimation; 3) DPS generates high-quality samples with significantly lower diversity. In light of the above findings, we posit that DPS more closely resembles MAP than a conditional score estimator, and accordingly propose the following enhancements to DPS: 1) we explicitly maximize the posterior through multi-step gradient ascent and projection; 2) we utilize a light-weighted conditional score estimator trained with only 100 images and 8 GPU hours. Extensive experimental results indicate that these proposed improvements significantly enhance DPS's performance. The source code for these improvements is provided in https://github.com/tongdaxu/Rethinking-Diffusion-Posterior-Sampling-From-Conditional-Score-Estimator -to-Maximizing-a-Posterior.
- Abstract（参考訳）: 拡散モデルの最近の進歩は、追加の訓練なしに逆問題に対処するために利用されており、拡散後サンプリング(DPS)は最も一般的なアプローチである。
従来の分析では,DPSは条件スコアを近似することで後部サンプリングを実現することが示唆された。
本稿では,DPSが用いる条件スコア近似が従来想定よりも有効ではなく,後部(MAP)の最大化原理とより密接に一致していることを示す。
この主張は、512x512 ImageNetイメージ上のDPSの検査によって裏付けられている。
1) DPSの条件スコア推定は、よく訓練された条件拡散モデルのスコアとは大きく異なり、非条件スコアよりも劣る。
2) DPS の条件スコア推定の平均値は 0 から大きくずれ、不正スコア推定となる。
3) DPSは, 多様性が著しく低い高品質な試料を生成する。
以上の知見を踏まえ、DPSは条件スコア推定器よりもMAPによく似ていると仮定し、DPSの次の拡張を提案する。
1) 多段勾配の上昇と投射により後方を明示的に最大化する。
2)100個の画像と8個のGPU時間でトレーニングした軽量条件付きスコア推定器を利用する。
その結果,これらの改良はDPSの性能を著しく向上させることが示唆された。
これらの改善のソースコードはhttps://github.com/tongdaxu/Rethinking-Diffusion-Posterior-Sampling-From-Conditional-Score-Estimator -to-Maximizing-a-Posteriorにある。
関連論文リスト
- Derivative-Free Optimization via Finite Difference Approximation: An Experimental Study [1.3886390523644807]
微分自由最適化(DFO)は、関数評価のみをオラクルで利用できるような複雑な最適化問題の解決に不可欠である。
2つの古典的なイテレーションアプローチは、Kiefer-Wolfowitz (KW) と同時摂動近似 (SPSA) アルゴリズムである。
本稿では,これらの手法の総合的な比較実験を行う。
論文 参考訳（メタデータ） (2024-10-31T18:07:44Z) - DC-Solver: Improving Predictor-Corrector Diffusion Sampler via Dynamic Compensation [68.55191764622525]
拡散モデル(DPM)は、視覚合成において顕著な性能を示すが、サンプリング中に複数の評価を必要とするため、計算コストが高い。
最近の予測器合成・拡散サンプリング装置は,要求される評価回数を大幅に削減したが,本質的には誤調整の問題に悩まされている。
我々はDC-CPRrと呼ばれる新しい高速DPMサンプリング装置を導入する。
論文 参考訳（メタデータ） (2024-09-05T17:59:46Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳（メタデータ） (2023-11-24T17:56:44Z) - Interpreting and Improving Diffusion Models from an Optimization Perspective [4.5993996573872185]
我々はこの観測を用いて、ユークリッド距離関数に適用された近似勾配勾配勾配として拡散モデルを解釈する。
本稿では,理論結果からの洞察を用いてDDIMを一般化した新しい勾配推定サンプリング手法を提案する。
論文 参考訳（メタデータ） (2023-06-08T00:56:33Z) - Detecting Adversarial Data by Probing Multiple Perturbations Using
Expected Perturbation Score [62.54911162109439]
逆方向検出は、自然分布と逆方向分布の差に基づいて、与えられたサンプルが逆方向であるかどうかを判定することを目的としている。
本研究では,様々な摂動後の標本の予測スコアであるEPS(pre expected perturbation score)を提案する。
EPSに基づく最大平均誤差(MMD)を,試験試料と自然試料との差を測定する指標として開発する。
論文 参考訳（メタデータ） (2023-05-25T13:14:58Z) - On the Theories Behind Hard Negative Sampling for Recommendation [51.64626293229085]
ハードネガティブサンプリング(HNS)を効果的に活用するための2つの洞察に富んだガイドラインを提供する。
パーソナライズされたランク付け(BPR)学習者におけるHNSの利用は、一方通行部分AUC(OPAUC)の最適化と等価であることを示す。
これらの分析は、初めてトップKレコメンデーションパフォーマンスを最適化するHNSの理論的基盤を確立する。
論文 参考訳（メタデータ） (2023-02-07T13:57:03Z) - Post-Processing Temporal Action Detection [134.26292288193298]
時間的行動検出(TAD)法は、通常、入力された可変長のビデオを固定長のスニペット表現シーケンスに変換する際に、前処理のステップを踏む。
この前処理ステップは、ビデオを時間的にダウンサンプリングし、推論の解像度を低減し、元の時間分解における検出性能を阻害する。
モデルの再設計や再学習を伴わない新しいモデル非依存のポストプロセッシング手法を提案する。
論文 参考訳（メタデータ） (2022-11-27T19:50:37Z) - Propensity score models are better when post-calibrated [0.32228025627337864]
ポスト校正は、表現的未校正統計推定器における効果推定における誤差を低減する。
効果推定の改善とポスト校正が計算的に安価であることを考えると、表現的モデルを用いて確率スコアをモデル化する場合に採用することを推奨する。
論文 参考訳（メタデータ） (2022-11-02T16:01:03Z) - On the Practicality of Differential Privacy in Federated Learning by
Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。
最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。
ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文 参考訳（メタデータ） (2021-01-11T19:43:12Z) - Direct loss minimization algorithms for sparse Gaussian processes [9.041035455989181]
本論文は,疎ガウス過程の予測損失を最小限に抑えるために後部を最適化する直接損失(DLM)を徹底的に検討する。
非共役ケースにおけるDLMの適用は、ログロスDLMの目的における期待の最小化がしばしば引き起こされるため、より複雑である。
論文 参考訳（メタデータ） (2020-04-07T02:31:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。