論文の概要: When Preferences Diverge: Aligning Diffusion Models with Minority-Aware Adaptive DPO

• arxiv url: http://arxiv.org/abs/2503.16921v1
• Date: Fri, 21 Mar 2025 07:33:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:58:20.924025
• Title: When Preferences Diverge: Aligning Diffusion Models with Minority-Aware Adaptive DPO
• Title（参考訳）: 拡散モデルとマイナーアウェア適応DPOの相違
• Authors: Lingfan Zhang, Chen Liu, Chengming Xu, Kai Hu, Donghao Luo, Chengjie Wang, Yanwei Fu, Yuan Yao,
• Abstract要約: 本稿では,拡散モデルの学習過程における嗜好データの役割について考察する。 本稿では,DPOの目的にマイノリティー・インスタンス・アウェア・メトリックを組み込んだ新しいアプローチであるAdaptive-DPOを提案する。 提案手法は,合成マイノリティデータと実世界の嗜好データの両方を効果的に扱うことを示す。
• 参考スコア（独自算出の注目度）: 66.10041557056562
• License:
• Abstract: In recent years, the field of image generation has witnessed significant advancements, particularly in fine-tuning methods that align models with universal human preferences. This paper explores the critical role of preference data in the training process of diffusion models, particularly in the context of Diffusion-DPO and its subsequent adaptations. We investigate the complexities surrounding universal human preferences in image generation, highlighting the subjective nature of these preferences and the challenges posed by minority samples in preference datasets. Through pilot experiments, we demonstrate the existence of minority samples and their detrimental effects on model performance. We propose Adaptive-DPO -- a novel approach that incorporates a minority-instance-aware metric into the DPO objective. This metric, which includes intra-annotator confidence and inter-annotator stability, distinguishes between majority and minority samples. We introduce an Adaptive-DPO loss function which improves the DPO loss in two ways: enhancing the model's learning of majority labels while mitigating the negative impact of minority samples. Our experiments demonstrate that this method effectively handles both synthetic minority data and real-world preference data, paving the way for more effective training methodologies in image generation tasks.
• Abstract（参考訳）: 近年、画像生成の分野は、特にモデルと普遍的な人間の嗜好を整合させる微調整法において、顕著な進歩をみせている。 本稿では,拡散モデルの学習過程における嗜好データの重要性について考察する。 画像生成における普遍的人間の嗜好を取り巻く複雑さについて検討し、これらの嗜好の主観的性質と、選好データセットにおけるマイノリティサンプルによる課題を明らかにする。 実験により,少数サンプルの存在とモデル性能に対する有害な影響を実証した。 本稿では,DPOの目的にマイノリティー・インスタンス・アウェア・メトリックを組み込んだ新しいアプローチであるAdaptive-DPOを提案する。 この指標は、アノテータ内信頼度とアノテータ間安定性を含み、多数派と少数派を区別する。 本稿ではDPO損失を2つの方法で改善するAdaptive-DPO損失関数を提案する。 提案手法は, 画像生成タスクにおいて, より効果的な学習手法を構築するために, 合成マイノリティデータと実世界の嗜好データの両方を効果的に扱うことを実証した。

関連論文リスト

• Personalized Preference Fine-tuning of Diffusion Models [75.22218338096316]
  拡散モデルとパーソナライズされた嗜好を整合させるマルチリワード最適化の目的であるPDを導入する。 PPDでは、拡散モデルがユーザーの個人の好みを数秒で学習する。 提案手法は,Stable Cascadeに対して平均76%の勝利率を達成し,特定のユーザの好みをより正確に反映した画像を生成する。
  論文  参考訳（メタデータ） (2025-01-11T22:38:41Z)
• Direct Preference Optimization With Unobserved Preference Heterogeneity [16.91835461818937]
  本稿では,生成モデルと人間の嗜好を一致させる新しい手法を提案する。 そこで我々はDPOに対する期待最大化適応を提案し、アノテータの潜在選好型に基づくモデルの混合を生成する。 我々のアルゴリズムはDPOの単純さを生かし、多様な好みを調節する。
  論文  参考訳（メタデータ） (2024-05-23T21:25:20Z)
• Chameleon: Foundation Models for Fairness-aware Multi-modal Data Augmentation to Enhance Coverage of Minorities [25.215178019059874]
  訓練データにおけるマイノリティの下位表現は、よく認識されている関心事である。 提案するChameleonは、最小限の設定を加えてデータセットを拡張して、表現されていないグループの範囲を拡大するシステムである。 提案アルゴリズムの有効性を確認するとともに,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-02-02T00:16:45Z)
• Adversarial Reweighting Guided by Wasserstein Distance for Bias Mitigation [24.160692009892088]
  データ中のマイノリティの下位表現は、学習中のサブポピュレーションの異なる扱いを困難にしている。 本稿では,このような表現バイアスに対処する新たな逆方向再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2023-11-21T15:46:11Z)
• Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
  不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。 マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。 提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
  論文  参考訳（メタデータ） (2023-08-28T18:48:34Z)
• Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
  データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。 異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。 このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
  論文  参考訳（メタデータ） (2023-03-30T17:30:42Z)
• Generative Oversampling for Imbalanced Data via Majority-Guided VAE [15.93867386081279]
  本稿では,多数派の指導のもと,新たなマイノリティサンプルを生成する,Majority-Guided VAE(MGVAE)と呼ばれる新しいオーバーサンプリングモデルを提案する。 このようにして、新しく生成されたマイノリティサンプルは、大多数のサンプルの多様性と豊かさを継承することができ、下流タスクにおける過度な適合を軽減できる。
  論文  参考訳（メタデータ） (2023-02-14T06:35:23Z)
• Don't Play Favorites: Minority Guidance for Diffusion Models [59.75996752040651]
  本稿では,拡散モデルの生成過程をマイノリティ標本に集中させる新しい枠組みを提案する。 我々は、所望の確率レベルを持つ領域に向けて生成過程をガイドできるサンプリング技術であるマイノリティガイダンスを開発する。
  論文  参考訳（メタデータ） (2023-01-29T03:08:47Z)
• FairIF: Boosting Fairness in Deep Learning via Influence Functions with Validation Set Sensitive Attributes [51.02407217197623]
  本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。 サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。 FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-01-15T05:14:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。