論文の概要: Stable Bias: Analyzing Societal Representations in Diffusion Models
- arxiv url: http://arxiv.org/abs/2303.11408v2
- Date: Thu, 9 Nov 2023 22:37:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-13 18:30:24.262200
- Title: Stable Bias: Analyzing Societal Representations in Diffusion Models
- Title(参考訳): 安定バイアス:拡散モデルにおける社会表現の解析
- Authors: Alexandra Sasha Luccioni, Christopher Akiki, Margaret Mitchell, Yacine
Jernite
- Abstract要約: 本稿では,テキスト・ツー・イメージ(TTI)システムにおける社会的バイアスを探索する新しい手法を提案する。
我々のアプローチは、プロンプト内の性別や民族のマーカーを列挙して生成された画像の変動を特徴づけることに依存している。
我々はこの手法を利用して3つのTTIシステムによって生成された画像を分析し、そのアウトプットが米国の労働人口層と相関しているのに対して、彼らは常に異なる範囲において、限界化されたアイデンティティを低く表現している。
- 参考スコア(独自算出の注目度): 72.27121528451528
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: As machine learning-enabled Text-to-Image (TTI) systems are becoming
increasingly prevalent and seeing growing adoption as commercial services,
characterizing the social biases they exhibit is a necessary first step to
lowering their risk of discriminatory outcomes. This evaluation, however, is
made more difficult by the synthetic nature of these systems' outputs: common
definitions of diversity are grounded in social categories of people living in
the world, whereas the artificial depictions of fictive humans created by these
systems have no inherent gender or ethnicity. To address this need, we propose
a new method for exploring the social biases in TTI systems. Our approach
relies on characterizing the variation in generated images triggered by
enumerating gender and ethnicity markers in the prompts, and comparing it to
the variation engendered by spanning different professions. This allows us to
(1) identify specific bias trends, (2) provide targeted scores to directly
compare models in terms of diversity and representation, and (3) jointly model
interdependent social variables to support a multidimensional analysis. We
leverage this method to analyze images generated by 3 popular TTI systems
(Dall-E 2, Stable Diffusion v 1.4 and 2) and find that while all of their
outputs show correlations with US labor demographics, they also consistently
under-represent marginalized identities to different extents. We also release
the datasets and low-code interactive bias exploration platforms developed for
this work, as well as the necessary tools to similarly evaluate additional TTI
systems.
- Abstract(参考訳): 機械学習対応のテキスト・トゥ・イメージ(TTI)システムがますます普及し、商業サービスとしての採用が増えている中、彼らが提示する社会的偏見を特徴付けることは、差別的な結果のリスクを下げる上で必要な第一歩である。
しかし、この評価は、これらのシステムのアウトプットの合成的性質によりより困難になっている: 多様性の共通の定義は、世界に住む人々の社会的カテゴリーに基礎を置いているのに対し、これらのシステムによって作成された人為的な描写は、固有の性別や民族性を持たない。
そこで本研究では,ttiシステムにおける社会的バイアスを探索する新しい手法を提案する。
提案手法は,プロンプトにおける性別と民族の指標を列挙することによって引き起こされる生成画像の変動を特徴付け,異なる職業にまたがる変化と比較するものである。
これにより、(1)特定のバイアス傾向を特定し、(2)多様性と表現の観点からモデルを直接比較するための目標スコアを提供し、(3)多次元分析をサポートするために相互依存型社会変数を共同モデル化することができる。
我々は,この手法を用いて,3つのTTIシステム(Dall-E 2, 安定拡散v 1.4)で生成された画像を分析する。
2)すべてのアウトプットが米国の労働人口動態と相関しているのに対して、異なる範囲のマージン化されたアイデンティティを一貫して過小評価していることを見出す。
また、この作業のために開発されたデータセットとローコードインタラクティブなバイアス探索プラットフォーム、および追加のTTIシステムを評価するために必要なツールもリリースしています。
関連論文リスト
- Leveraging Prototypical Representations for Mitigating Social Bias without Demographic Information [50.29934517930506]
DAFairは、言語モデルにおける社会的バイアスに対処する新しいアプローチである。
偏見を緩和するために、原型的人口統計テキストを活用し、微調整プロセス中に正規化用語を取り入れる。
論文 参考訳(メタデータ) (2024-03-14T15:58:36Z) - The Male CEO and the Female Assistant: Probing Gender Biases in
Text-To-Image Models Through Paired Stereotype Test [68.84245853250906]
DALLE-3のような最近の大規模テキスト・ツー・イメージ(T2I)モデルは、新しいアプリケーションにおいて大きな可能性を秘めているが、前例のない公平さの課題に直面している。
本稿では,Paired Stereotype Test (PST) のバイアス評価フレームワークを提案する。
以上の結果から,現代T2Iモデルにおける男女差の複雑なパターンが明らかとなり,マルチモーダル生成システムにおける批判的公平性の課題が浮き彫りになった。
論文 参考訳(メタデータ) (2024-02-16T21:32:27Z) - DSAP: Analyzing Bias Through Demographic Comparison of Datasets [4.8741052091630985]
DSAP(Demographic similarity from Auxiliary Profiles)は、2つのデータセットの人口構成を比較するための2段階の手法である。
DSAPは3つの主要なアプリケーションにデプロイすることができる。データセット間での人口統計学的盲点とバイアスの問題の検出と特徴付け、単一のデータセットにおけるデータセットの人口統計学的バイアスの測定、デプロイメントシナリオにおけるデータセットの人口統計学的シフトの測定である。
DSAPの重要な特徴は、明示的な人口統計ラベルなしでデータセットを堅牢に分析し、広範囲の状況に対してシンプルで解釈可能な機能を提供することである。
論文 参考訳(メタデータ) (2023-12-22T11:51:20Z) - Bias and Fairness in Large Language Models: A Survey [76.65471160523444]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳(メタデータ) (2023-09-02T00:32:55Z) - Ecosystem-level Analysis of Deployed Machine Learning Reveals
Homogeneous Outcomes [76.07093761206377]
本研究では,機械学習の社会的影響を,特定の文脈に展開されるモデルの集合を考慮し検討する。
デプロイされた機械学習はシステム障害を起こしやすいため、利用可能なすべてのモデルに排他的に誤分類されているユーザもいます。
これらの例は、エコシステムレベルの分析が、機械学習の社会的影響を特徴づける独自の強みを持っていることを示している。
論文 参考訳(メタデータ) (2023-07-12T01:11:52Z) - Social Biases through the Text-to-Image Generation Lens [9.137275391251517]
テキスト・トゥ・イメージ(T2I)生成は、プロダクティビティソフトウェアのクリエーター、デザイナ、一般ユーザをサポートする新しいアプリケーションを可能にする。
生成した画像に反映された一般的な社会的偏見の研究と定量化に多次元的アプローチを採用する。
DALLE-v2とStable Diffusionの2つのT2Iモデルについて検討した。
論文 参考訳(メタデータ) (2023-03-30T05:29:13Z) - Towards Explaining Demographic Bias through the Eyes of Face Recognition
Models [6.889667606945215]
データとアルゴリズムの両方に固有のバイアスは、機械学習(ML)ベースの意思決定システムの公平性を最適以下にする。
我々は、異なる人口集団を処理する際に、顔認識モデルの振る舞いの違いを分析する一連の説明可能性ツールを提供することを目標としている。
我々は、アクティベーションマップに基づく高次統計情報を活用して、FRモデルの行動差を特定の顔領域に関連付ける説明可能性ツールを構築する。
論文 参考訳(メタデータ) (2022-08-29T07:23:06Z) - Assessing Demographic Bias Transfer from Dataset to Model: A Case Study
in Facial Expression Recognition [1.5340540198612824]
2つのメトリクスはデータセットの表現バイアスとステレオタイプバイアスに焦点をあて、もう1つはトレーニングされたモデルの残差バイアスに焦点を当てている。
本稿では、一般的なAffectnetデータセットに基づくFER問題に適用することで、メトリクスの有用性を示す。
論文 参考訳(メタデータ) (2022-05-20T09:40:42Z) - Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。
テキスト生成における社会的バイアスを軽減するためのステップを提案する。
我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
論文 参考訳(メタデータ) (2021-06-24T17:52:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。