論文の概要: Finetuning Text-to-Image Diffusion Models for Fairness

• arxiv url: http://arxiv.org/abs/2311.07604v1
• Date: Sat, 11 Nov 2023 05:40:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-15 17:11:58.077760
• Title: Finetuning Text-to-Image Diffusion Models for Fairness
• Title（参考訳）: 公正なテキスト・画像拡散モデル
• Authors: Xudong Shen, Chao Du, Tianyu Pang, Min Lin, Yongkang Wong, Mohan Kankanhalli
• Abstract要約: 公平性は分布的アライメント問題である。 経験的手法では、職業的プロンプトに対する性別、人種、およびそれらの交叉バイアスを著しく低減する。 私たちの仕事は、T2I生成AIのソーシャルアライメントを促進することを願っています。
• 参考スコア（独自算出の注目度）: 46.41894102063548
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid adoption of text-to-image diffusion models in society underscores an urgent need to address their biases. Without interventions, these biases could propagate a distorted worldview and limit opportunities for minority groups. In this work, we frame fairness as a distributional alignment problem. Our solution consists of two main technical contributions: (1) a distributional alignment loss that steers specific characteristics of the generated images towards a user-defined target distribution, and (2) biased direct finetuning of diffusion model's sampling process, which leverages a biased gradient to more effectively optimize losses defined on the generated images. Empirically, our method markedly reduces gender, racial, and their intersectional biases for occupational prompts. Gender bias is significantly reduced even when finetuning just five soft tokens. Crucially, our method supports diverse perspectives of fairness beyond absolute equality, which is demonstrated by controlling age to a $75\%$ young and $25\%$ old distribution while simultaneously debiasing gender and race. Finally, our method is scalable: it can debias multiple concepts at once by simply including these prompts in the finetuning data. We hope our work facilitates the social alignment of T2I generative AI. We will share code and various debiased diffusion model adaptors.
• Abstract（参考訳）: 社会におけるテキスト・画像拡散モデルの急速な導入は、彼らのバイアスに対処する緊急の必要性を浮き彫りにしている。 介入がなければ、これらのバイアスは歪んだ世界観を広め、少数派グループの機会を制限することができる。 本研究では,分布アライメント問題として公正性を考察する。 提案手法は,(1) 生成した画像の特定の特性をユーザ定義対象分布に向ける分布アライメント損失,(2) 生成した画像に定義された損失をより効果的に最適化するためにバイアス勾配を利用する拡散モデルのサンプリングプロセスのバイアスド直接微調整という2つの技術的貢献からなる。 経験的に、この方法は職業的プロンプトに対する性別、人種、交叉バイアスを著しく減少させる。 わずか5つのソフトトークンを微調整しても、性別バイアスは大幅に減少する。 本手法は, 性別と人種の偏差と同時に, 年齢を75\%$ youngと25\%$ oldに制御することで, 絶対的平等を超えた公平性の多様な視点をサポートする。 最後に,これらのプロンプトを微調整データに含めることで,複数の概念を同時にデバイアスすることができる。 私たちの仕事は、T2I生成AIのソーシャルアライメントを促進することを願っています。 コードと様々なデバイアス拡散モデルアダプタを共有します。

関連論文リスト

• MIST: Mitigating Intersectional Bias with Disentangled Cross-Attention Editing in Text-to-Image Diffusion Models [3.3454373538792552]
  本稿では,拡散型テキスト・画像モデルにおける交叉バイアスに対処する手法を提案する。 提案手法では,事前学習した安定拡散モデルを用いて,参照画像の追加の必要性を排除し,未修正概念の本来の品質を維持する。
  論文  参考訳（メタデータ） (2024-03-28T17:54:38Z)
• Distributionally Generative Augmentation for Fair Facial Attribute Classification [69.97710556164698]
  Facial Attribute Classification (FAC) は広く応用されている。 従来の手法で訓練されたFACモデルは、様々なデータサブポピュレーションにまたがる精度の不整合を示すことによって不公平である可能性がある。 本研究は,付加アノテーションなしでバイアスデータ上で公正なFACモデルをトレーニングするための,新しい世代ベースの2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-11T10:50:53Z)
• Debiasing Text-to-Image Diffusion Models [84.46750441518697]
  学習ベースのテキスト・トゥ・イメージ(TTI)モデルは、さまざまなドメインで視覚コンテンツを生成する方法に革命をもたらした。 近年の研究では、現在最先端のTTIシステムに非無視的な社会的バイアスが存在することが示されている。
  論文  参考訳（メタデータ） (2024-02-22T14:33:23Z)
• Unbiased Image Synthesis via Manifold Guidance in Diffusion Models [9.531220208352252]
  拡散モデルは、しばしば必然的に特定のデータ属性を好ましくし、生成された画像の多様性を損なう。 我々は,DDPMにおけるバイアス問題を緩和する最初の教師なし手法であるManifold Smpling Guidanceというプラグアンドプレイ手法を提案する。
  論文  参考訳（メタデータ） (2023-07-17T02:03:17Z)
• Diffusion Visual Counterfactual Explanations [51.077318228247925]
  VCE(Visual Counterfactual Explanations)は、画像の決定を理解するための重要なツールである。 VCEの生成に対する現在のアプローチは、逆向きに堅牢なモデルに制限されており、しばしば非現実的なアーティファクトを含んでいる。 本稿では、任意のイメージネット分類器に対して、視覚拡散対実説明(DVCE)を生成することでこれを克服する。
  論文  参考訳（メタデータ） (2022-10-21T09:35:47Z)
• A Differentiable Distance Approximation for Fairer Image Classification [31.471917430653626]
  我々は,AIモデルにおいて,偏りや不公平さを測定するために使用できる指標である,人口統計の分散の微分可能な近似を提案する。 我々の近似は、トレーニング中に余分なモデルを必要としない通常のトレーニング目標と共に最適化できる。 提案手法は,タスクやデータセットのさまざまなシナリオにおけるAIモデルの公平性を改善する。
  論文  参考訳（メタデータ） (2022-10-09T23:02:18Z)
• How Robust is Your Fairness? Evaluating and Sustaining Fairness under Unseen Distribution Shifts [107.72786199113183]
  CUMA(CUrvature Matching)と呼ばれる新しいフェアネス学習手法を提案する。 CUMAは、未知の分布シフトを持つ未知の領域に一般化可能な頑健な公正性を達成する。 提案手法を3つの人気フェアネスデータセットで評価する。
  論文  参考訳（メタデータ） (2022-07-04T02:37:50Z)
• Domain Adaptation meets Individual Fairness. And they get along [48.95808607591299]
  アルゴリズムフェアネスの介入は、機械学習モデルが分散シフトを克服するのに役立つことを示す。 特に,個人フェアネス(IF)の適切な概念を強制することで,MLモデルの分布外精度が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-01T16:19:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。