論文の概要: MIST: Mitigating Intersectional Bias with Disentangled Cross-Attention Editing in Text-to-Image Diffusion Models
- arxiv url: http://arxiv.org/abs/2403.19738v1
- Date: Thu, 28 Mar 2024 17:54:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 17:33:35.724185
- Title: MIST: Mitigating Intersectional Bias with Disentangled Cross-Attention Editing in Text-to-Image Diffusion Models
- Title(参考訳): MIST:テキストと画像の拡散モデルにおける交差注意編集による断面バイアスの緩和
- Authors: Hidir Yesiltepe, Kiymet Akdemir, Pinar Yanardag,
- Abstract要約: 本稿では,拡散型テキスト・画像モデルにおける交叉バイアスに対処する手法を提案する。
提案手法では,事前学習した安定拡散モデルを用いて,参照画像の追加の必要性を排除し,未修正概念の本来の品質を維持する。
- 参考スコア(独自算出の注目度): 3.3454373538792552
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion-based text-to-image models have rapidly gained popularity for their ability to generate detailed and realistic images from textual descriptions. However, these models often reflect the biases present in their training data, especially impacting marginalized groups. While prior efforts to debias language models have focused on addressing specific biases, such as racial or gender biases, efforts to tackle intersectional bias have been limited. Intersectional bias refers to the unique form of bias experienced by individuals at the intersection of multiple social identities. Addressing intersectional bias is crucial because it amplifies the negative effects of discrimination based on race, gender, and other identities. In this paper, we introduce a method that addresses intersectional bias in diffusion-based text-to-image models by modifying cross-attention maps in a disentangled manner. Our approach utilizes a pre-trained Stable Diffusion model, eliminates the need for an additional set of reference images, and preserves the original quality for unaltered concepts. Comprehensive experiments demonstrate that our method surpasses existing approaches in mitigating both single and intersectional biases across various attributes. We make our source code and debiased models for various attributes available to encourage fairness in generative models and to support further research.
- Abstract(参考訳): 拡散ベースのテキスト・ツー・イメージモデルは、テキスト記述から詳細でリアルな画像を生成する能力で急速に人気を集めている。
しかしながら、これらのモデルはトレーニングデータに存在するバイアスを反映することが多い。
言語モデルのデバイアスへの以前の取り組みは、人種や性別のバイアスといった特定のバイアスに対処することに重点を置いているが、交差バイアスに対処する努力は限られている。
節間バイアス(Intersectional bias)とは、複数の社会的アイデンティティの交差点で個人が経験する独自のバイアスの形式を指す。
人種、性別、その他のアイデンティティに基づく差別のネガティブな影響を増幅するため、交差バイアスに対処することが不可欠である。
本稿では,拡散に基づくテキスト・画像モデルの交叉バイアスに対処する手法を提案する。
提案手法では,事前学習した安定拡散モデルを用いて,参照画像の追加の必要性を排除し,未修正概念の本来の品質を維持する。
総合的な実験により,本手法は様々な属性にまたがる単一偏差と交叉偏差を緩和する既存手法を超えることを示した。
我々は、生成モデルにおける公平性を奨励し、さらなる研究を支援するために、ソースコードと様々な属性に対するバイアス付きモデルを作成します。
関連論文リスト
- Bias Begets Bias: The Impact of Biased Embeddings on Diffusion Models [0.0]
テキスト・トゥ・イメージ(TTI)システムは、社会的偏見に対する精査が増加している。
組込み空間をTTIモデルのバイアス源として検討する。
CLIPのような偏りのあるマルチモーダル埋め込みは、表現バランスの取れたTTIモデルに対して低いアライメントスコアをもたらす。
論文 参考訳(メタデータ) (2024-09-15T01:09:55Z) - MABR: A Multilayer Adversarial Bias Removal Approach Without Prior Bias Knowledge [6.208151505901749]
実世界のデータに基づいてトレーニングされたモデルは、しばしば既存の社会的バイアスを反映し、悪化させる。
本稿では,従来のバイアス型知識とは独立して機能する,新たな対人訓練戦略を提案する。
本手法は,人口統計学的アノテーションを必要とせずに,社会的バイアスを効果的に低減する。
論文 参考訳(メタデータ) (2024-08-10T09:11:01Z) - Leveraging Prototypical Representations for Mitigating Social Bias without Demographic Information [50.29934517930506]
DAFairは、言語モデルにおける社会的バイアスに対処する新しいアプローチである。
偏見を緩和するために、原型的人口統計テキストを活用し、微調整プロセス中に正規化用語を取り入れる。
論文 参考訳(メタデータ) (2024-03-14T15:58:36Z) - RS-Corrector: Correcting the Racial Stereotypes in Latent Diffusion
Models [20.53932777919384]
本稿では,潜在空間における反ステレオタイプ的嗜好を確立するためのフレームワークRS-Correctorを提案する。
広範な経験的評価は、導入されたモデルが、十分に訓練された安定拡散モデルの人種的ステレオタイプを効果的に補正することを示した。
論文 参考訳(メタデータ) (2023-12-08T02:59:29Z) - Exploring Social Bias in Downstream Applications of Text-to-Image
Foundation Models [72.06006736916821]
合成画像を用いて、社会的バイアスに対するテキスト・画像モデル、画像編集と分類の2つの応用を探索する。
提案手法を用いて,最先端のオープンソーステキスト・ツー・イメージ・モデルであるtextitStable Diffusion における有意義かつ有意義なセクション間社会的バイアスを明らかにする。
本研究は、下流業務・サービスにおけるテキスト・ツー・イメージ基盤モデルの導入について、未発表の点に注意を払っている。
論文 参考訳(メタデータ) (2023-12-05T14:36:49Z) - TIBET: Identifying and Evaluating Biases in Text-to-Image Generative Models [22.076898042211305]
我々は、任意のTTIモデルと任意のプロンプトに対して、幅広いバイアススペクトルを研究、定量化するための一般的なアプローチを提案する。
我々の手法は、与えられたプロンプトに関連する可能性のある潜在的なバイアスを自動的に識別し、それらのバイアスを測定する。
本研究では,本手法が意味論的概念を通じて複雑な多次元バイアスを説明できることを示す。
論文 参考訳(メタデータ) (2023-12-03T02:31:37Z) - Fast Model Debias with Machine Unlearning [54.32026474971696]
ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。
既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。
バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
論文 参考訳(メタデータ) (2023-10-19T08:10:57Z) - Analyzing Bias in Diffusion-based Face Generation Models [75.80072686374564]
拡散モデルは、合成データ生成と画像編集アプリケーションでますます人気がある。
本研究では, 性別, 人種, 年齢などの属性に関して, 拡散型顔生成モデルにおけるバイアスの存在について検討する。
本研究は,GAN(Generative Adversarial Network)とGAN(Generative Adversarial Network)をベースとした顔生成モデルにおいて,データセットサイズが属性組成および知覚品質に与える影響について検討する。
論文 参考訳(メタデータ) (2023-05-10T18:22:31Z) - Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。
偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
論文 参考訳(メタデータ) (2023-01-31T20:09:33Z) - Unravelling the Effect of Image Distortions for Biased Prediction of
Pre-trained Face Recognition Models [86.79402670904338]
画像歪みの存在下での4つの最先端深層顔認識モデルの性能評価を行った。
我々は、画像歪みが、異なるサブグループ間でのモデルの性能ギャップと関係していることを観察した。
論文 参考訳(メタデータ) (2021-08-14T16:49:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。