Fugu-MT 論文翻訳(概要): Rectified Diffusion Guidance for Conditional Generation

論文の概要: Rectified Diffusion Guidance for Conditional Generation

arxiv url: http://arxiv.org/abs/2410.18737v1
Date: Thu, 24 Oct 2024 13:41:32 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-25 12:49:59.568836
Title: Rectified Diffusion Guidance for Conditional Generation
Title（参考訳）: コンディショナル・ジェネレーションのための整流拡散誘導
Authors: Mengfei Xia, Nan Xue, Yujun Shen, Ran Yi, Tieliang Gong, Yong-Jin Liu,
Abstract要約: CFGの背後にある理論を再検討し、組合せ係数の不適切な構成(すなわち、広く使われている和対1バージョン)が生成分布の期待シフトをもたらすことを厳密に確認する。本稿では,誘導係数を緩和したReCFGを提案する。このようにして、修正された係数は観測されたデータをトラバースすることで容易に事前計算でき、サンプリング速度はほとんど影響を受けない。
参考スコア（独自算出の注目度）: 62.00207951161297
License:
Abstract: Classifier-Free Guidance (CFG), which combines the conditional and unconditional score functions with two coefficients summing to one, serves as a practical technique for diffusion model sampling. Theoretically, however, denoising with CFG cannot be expressed as a reciprocal diffusion process, which may consequently leave some hidden risks during use. In this work, we revisit the theory behind CFG and rigorously confirm that the improper configuration of the combination coefficients (i.e., the widely used summing-to-one version) brings about expectation shift of the generative distribution. To rectify this issue, we propose ReCFG with a relaxation on the guidance coefficients such that denoising with ReCFG strictly aligns with the diffusion theory. We further show that our approach enjoys a closed-form solution given the guidance strength. That way, the rectified coefficients can be readily pre-computed via traversing the observed data, leaving the sampling speed barely affected. Empirical evidence on real-world data demonstrate the compatibility of our post-hoc design with existing state-of-the-art diffusion models, including both class-conditioned ones (e.g., EDM2 on ImageNet) and text-conditioned ones (e.g., SD3 on CC12M), without any retraining. We will open-source the code to facilitate further research.
Abstract（参考訳）: 条件付きおよび非条件付きスコア関数と1にまとめる2つの係数を組み合わせたCFGは拡散モデルサンプリングの実践的手法として機能する。しかし理論的には、CFGをデノイングすることは相互拡散過程として表せないため、使用中にいくつかの隠れたリスクが残る可能性がある。本研究ではCFGの背後にある理論を再検討し、組合せ係数の不適切な構成(すなわち、広く使われている和対1バージョン)が生成分布の期待シフトをもたらすことを厳密に確認する。この問題を是正するために、誘導係数を緩和したReCFGを提案する。さらに、ガイダンスの強さから、我々のアプローチがクローズドな解を楽しむことを示す。このようにして、補正された係数は観測されたデータをトラバースすることで容易に事前計算でき、サンプリング速度はほとんど影響を受けない。実世界のデータに関する実証的な証拠は、私たちのポストホック設計と既存の最先端拡散モデルとの互換性を示しており、その中にはクラス条件(例えば、ImageNet上のEDM2)とテキスト条件(例えば、CC12M上のSD3)の両方が含まれています。さらなる研究を促進するために、コードをオープンソースにします。

関連論文リスト

Dual Conditional Diffusion Models for Sequential Recommendation [47.65610320825351]
本稿では,個別から連続的なレコメンデーション拡散フレームワークを提案する。本フレームワークでは,逆対象項目表現から離散項目インデックスへの遷移をモデル化する完全マルコフ連鎖を導入している。本稿では,拡散型SRの暗黙条件と明示条件を組み込んだDCDT(Dual Conditional Diffusion Transformer)を提案する。
論文参考訳（メタデータ） (2024-10-29T11:51:06Z)
Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文参考訳（メタデータ） (2024-10-17T16:42:12Z)
Classifier-Free Guidance is a Predictor-Corrector [8.970133799609041]
CFGはテキスト・画像拡散モデルにおける条件付きサンプリングの主要な手法である。我々は、CFGがDDPMやDDIMと異なる相互作用を示すことで、一般的な誤解を解消する。 SDE の極限では、CFG は実際に条件分布の DDIM 予測器とガンマ動力分布のランゲヴィン力学補正器とを結合していることを証明している。
論文参考訳（メタデータ） (2024-08-16T20:00:55Z)
Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文参考訳（メタデータ） (2024-03-03T23:15:48Z)
DiffEnc: Variational Diffusion with a Learned Encoder [14.045374947755922]
拡散過程にデータと深度に依存した平均関数を導入し,拡散損失を改良した。提案するフレームワークであるDiffEncは,CIFAR-10の確率を統計的に有意に向上させる。
論文参考訳（メタデータ） (2023-10-30T17:54:36Z)
Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse Problems [64.29491112653905]
本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
論文参考訳（メタデータ） (2023-03-10T07:42:49Z)
Generative Modeling with Flow-Guided Density Ratio Learning [12.192867460641835]
Flow-Guided Density Ratio Learning (FDRL)は、生成モデルに対するシンプルでスケーラブルなアプローチである。我々は,FDRLが128時間128ドルの高次元の画像を生成するとともに,既存の勾配流ベースラインを定量的なベンチマークで上回っていることを示す。
論文参考訳（メタデータ） (2023-03-07T07:55:52Z)
Diffusion-GAN: Training GANs with Diffusion [135.24433011977874]
GAN(Generative Adversarial Network)は、安定してトレーニングすることが難しい。フォワード拡散チェーンを利用してインスタンスノイズを生成する新しいGANフレームワークであるDiffusion-GANを提案する。我々は,Diffusion-GANにより,最先端のGANよりも高い安定性とデータ効率で,よりリアルな画像を生成することができることを示す。
論文参考訳（メタデータ） (2022-06-05T20:45:01Z)
Subspace Diffusion Generative Models [4.310834990284412]
スコアベースモデルは、高次元拡散過程を通じて、ノイズをデータにマッピングすることでサンプルを生成する。データ分布がノイズに向かって進化するにつれて、射影による部分空間への拡散を制限する。私たちのフレームワークは継続的拡散と完全に互換性があり、柔軟性を維持しています。
論文参考訳（メタデータ） (2022-05-03T13:43:47Z)
On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文参考訳（メタデータ） (2021-01-11T19:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。