論文の概要: Overcoming Spurious Correlations in Conditional Diffusion Models via Doubly Robust Target Correction
- arxiv url: http://arxiv.org/abs/2611.16306v1
- Date: Thu, 12 Nov 2026 05:07:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.3645
- Title: Overcoming Spurious Correlations in Conditional Diffusion Models via Doubly Robust Target Correction
- Title(参考訳): 二重ロバスト目標補正による条件拡散モデルにおける余剰相関の克服
- Abstract要約: DR-Diffは、訓練済み条件付き拡散モデルを効率的に微調整するフレームワークである。
DR-Diffは、人口レベルでの目標リスク低減を保証する。
DR-Diffは、スクラッチから訓練されたモデルのノイズ予測精度を合成データセットで比較する。
- 参考スコア(独自算出の注目度): 4.259419564816921
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While conditional diffusion models have achieved remarkable success in generation tasks, they memorize spurious correlations within training data. This causes them to deviate from ideal target distributions. Minimizing a covariate shift-adjusted target risk can address this issue. However, retraining models from scratch for different distributions is computationally prohibitive. To overcome this limitation, we propose DR-Diff, a framework that efficiently fine-tunes pre-trained conditional diffusion models. Specifically, DR-Diff leverages a functional gradient approach to derive a pseudo-target. This pseudo-target captures the residual between the base model's noise prediction and the ground-truth noise under the target distribution. Training the model to fit this pseudo-target enables efficient target adaptation. Theoretically, we prove that DR-Diff guarantees target risk reduction at the population level. It also achieves a pseudo-doubly robust property, providing resilience against density ratio estimation errors and base model misspecifications. Empirically, DR-Diff matches the noise prediction accuracy of models trained from scratch on synthetic datasets. Furthermore, it mitigates inter-group disparities in downstream classification tasks.
- Abstract(参考訳): 条件付き拡散モデルは生成タスクにおいて顕著に成功したが、トレーニングデータ内の急激な相関を記憶している。
これにより、理想的な目標分布から逸脱する。
可変シフト調整されたターゲットリスクを最小限に抑えることはこの問題に対処できる。
しかし、異なる分布に対してスクラッチからモデルを再訓練することは、計算的に禁じられている。
この制限を克服するために,プレトレーニング条件付き拡散モデルを効率的に微調整するDR-Diffを提案する。
具体的には、DR-Diffは擬似ターゲットを導出するために関数勾配アプローチを利用する。
この擬似ターゲットは、ベースモデルの雑音予測と目標分布下での地絡音の間の残差をキャプチャする。
この擬似ターゲットに適合するようにモデルをトレーニングすることで、効率的なターゲット適応が可能になる。
理論的には、DR-Diffは人口レベルでの目標リスク低減を保証する。
また、疑似二重頑健性を実現し、密度比推定誤差やベースモデルの誤識別に対するレジリエンスを提供する。
DR-Diffは、スクラッチから訓練されたモデルのノイズ予測精度を合成データセットで比較する。
さらに、下流分類タスクにおけるグループ間格差を軽減する。
関連論文リスト
- Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。
従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。
これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
論文 参考訳(メタデータ) (2024-07-16T06:38:49Z) - An analysis of the noise schedule for score-based generative models [7.180235086275926]
スコアベース生成モデル(SGM)は、目標からのノイズ摂動サンプルのみを用いてスコア関数を学習することにより、目標データ分布を推定することを目的としている。
近年の文献では、ターゲットと推定分布の誤差を評価し、KL(Kulback-Leibler)の発散とワッサーシュタイン距離を通じて生成品質を測ることに重点を置いている。
対象と推定分布のKL分散の上限を時間依存ノイズスケジュールによって明確に設定する。
論文 参考訳(メタデータ) (2024-02-07T08:24:35Z) - Latent Code Augmentation Based on Stable Diffusion for Data-free Substitute Attacks [47.84143701817491]
ブラックボックス代替攻撃では対象モデルのトレーニングデータが利用できないため、近年のスキームではGANを用いて代替モデルのトレーニングデータを生成する。
本稿では,SD(Stable Diffusion)に基づくデータフリー代替攻撃方式を提案する。
論文 参考訳(メタデータ) (2023-07-24T15:10:22Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。