論文の概要: Finetuning Text-to-Image Diffusion Models for Fairness

• arxiv url: http://arxiv.org/abs/2311.07604v2
• Date: Fri, 15 Mar 2024 08:42:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 23:22:19.351455
• Title: Finetuning Text-to-Image Diffusion Models for Fairness
• Title（参考訳）: フェアネスのための微調整テキスト・画像拡散モデル
• Authors: Xudong Shen, Chao Du, Tianyu Pang, Min Lin, Yongkang Wong, Mohan Kankanhalli,
• Abstract要約: 公平性は分布的アライメント問題である。 経験的手法では、職業的プロンプトに対する性別、人種、およびそれらの交叉バイアスを著しく低減する。 我々の手法は絶対的平等を超えた公平性の多様な視点を支えている。
• 参考スコア（独自算出の注目度）: 43.80733100304361
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid adoption of text-to-image diffusion models in society underscores an urgent need to address their biases. Without interventions, these biases could propagate a skewed worldview and restrict opportunities for minority groups. In this work, we frame fairness as a distributional alignment problem. Our solution consists of two main technical contributions: (1) a distributional alignment loss that steers specific characteristics of the generated images towards a user-defined target distribution, and (2) adjusted direct finetuning of diffusion model's sampling process (adjusted DFT), which leverages an adjusted gradient to directly optimize losses defined on the generated images. Empirically, our method markedly reduces gender, racial, and their intersectional biases for occupational prompts. Gender bias is significantly reduced even when finetuning just five soft tokens. Crucially, our method supports diverse perspectives of fairness beyond absolute equality, which is demonstrated by controlling age to a $75\%$ young and $25\%$ old distribution while simultaneously debiasing gender and race. Finally, our method is scalable: it can debias multiple concepts at once by simply including these prompts in the finetuning data. We share code and various fair diffusion model adaptors at https://sail-sg.github.io/finetune-fair-diffusion/.
• Abstract（参考訳）: 社会におけるテキスト・画像拡散モデルの急速な導入は、彼らのバイアスに対処する緊急の必要性を浮き彫りにしている。 介入がなければ、これらの偏見は歪んだ世界観を伝播させ、少数民族の機会を制限する可能性がある。 本研究では,分布アライメント問題として公正性を考察する。 提案手法は,(1) 生成した画像の特定の特性をユーザ定義の目標分布に向ける分布アライメント損失,(2) 生成した画像に定義された損失を直接最適化するために調整された勾配を利用する拡散モデルのサンプリングプロセス(調整DFT)の調整された微調整,の2つの技術的貢献から成り立っている。 経験的手法では、職業的プロンプトに対する性別、人種、およびそれらの交叉バイアスを著しく低減する。 ソフトトークンを5個だけ微調整しても、ジェンダーバイアスは著しく低下する。 本手法は,性別と人種を同時に嫌悪しながら,年齢を75\%,年齢を25\%,年齢分布を25\%に抑えることによって,絶対平等を超える公平性の多様さを実証する。 最後に,これらのプロンプトを微調整データに含めることで,複数の概念を同時にデバイアスすることができる。 コードとさまざまな公正拡散モデルアダプタをhttps://sail-sg.github.io/finetune-fair-diffusion/で共有しています。

関連論文リスト

• MIST: Mitigating Intersectional Bias with Disentangled Cross-Attention Editing in Text-to-Image Diffusion Models [3.3454373538792552]
  本稿では,拡散型テキスト・画像モデルにおける交叉バイアスに対処する手法を提案する。 提案手法では,事前学習した安定拡散モデルを用いて,参照画像の追加の必要性を排除し,未修正概念の本来の品質を維持する。
  論文  参考訳（メタデータ） (2024-03-28T17:54:38Z)
• Distributionally Generative Augmentation for Fair Facial Attribute Classification [69.97710556164698]
  Facial Attribute Classification (FAC) は広く応用されている。 従来の手法で訓練されたFACモデルは、様々なデータサブポピュレーションにまたがる精度の不整合を示すことによって不公平である可能性がある。 本研究は,付加アノテーションなしでバイアスデータ上で公正なFACモデルをトレーニングするための,新しい世代ベースの2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-11T10:50:53Z)
• Debiasing Text-to-Image Diffusion Models [84.46750441518697]
  学習ベースのテキスト・トゥ・イメージ(TTI)モデルは、さまざまなドメインで視覚コンテンツを生成する方法に革命をもたらした。 近年の研究では、現在最先端のTTIシステムに非無視的な社会的バイアスが存在することが示されている。
  論文  参考訳（メタデータ） (2024-02-22T14:33:23Z)
• Unbiased Image Synthesis via Manifold Guidance in Diffusion Models [9.531220208352252]
  拡散モデルは、しばしば必然的に特定のデータ属性を好ましくし、生成された画像の多様性を損なう。 我々は,DDPMにおけるバイアス問題を緩和する最初の教師なし手法であるManifold Smpling Guidanceというプラグアンドプレイ手法を提案する。
  論文  参考訳（メタデータ） (2023-07-17T02:03:17Z)
• Diffusion Visual Counterfactual Explanations [51.077318228247925]
  VCE(Visual Counterfactual Explanations)は、画像の決定を理解するための重要なツールである。 VCEの生成に対する現在のアプローチは、逆向きに堅牢なモデルに制限されており、しばしば非現実的なアーティファクトを含んでいる。 本稿では、任意のイメージネット分類器に対して、視覚拡散対実説明(DVCE)を生成することでこれを克服する。
  論文  参考訳（メタデータ） (2022-10-21T09:35:47Z)
• A Differentiable Distance Approximation for Fairer Image Classification [31.471917430653626]
  我々は,AIモデルにおいて,偏りや不公平さを測定するために使用できる指標である,人口統計の分散の微分可能な近似を提案する。 我々の近似は、トレーニング中に余分なモデルを必要としない通常のトレーニング目標と共に最適化できる。 提案手法は,タスクやデータセットのさまざまなシナリオにおけるAIモデルの公平性を改善する。
  論文  参考訳（メタデータ） (2022-10-09T23:02:18Z)
• How Robust is Your Fairness? Evaluating and Sustaining Fairness under Unseen Distribution Shifts [107.72786199113183]
  CUMA(CUrvature Matching)と呼ばれる新しいフェアネス学習手法を提案する。 CUMAは、未知の分布シフトを持つ未知の領域に一般化可能な頑健な公正性を達成する。 提案手法を3つの人気フェアネスデータセットで評価する。
  論文  参考訳（メタデータ） (2022-07-04T02:37:50Z)
• Domain Adaptation meets Individual Fairness. And they get along [48.95808607591299]
  アルゴリズムフェアネスの介入は、機械学習モデルが分散シフトを克服するのに役立つことを示す。 特に,個人フェアネス(IF)の適切な概念を強制することで,MLモデルの分布外精度が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-01T16:19:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。