論文の概要: Easily Accessible Text-to-Image Generation Amplifies Demographic Stereotypes at Large Scale

• arxiv url: http://arxiv.org/abs/2211.03759v2
• Date: Wed, 7 Jun 2023 16:36:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 19:51:17.977866
• Title: Easily Accessible Text-to-Image Generation Amplifies Demographic Stereotypes at Large Scale
• Title（参考訳）: 簡単にアクセスできるテキスト・画像生成は大規模な画像ステレオタイプを増幅する
• Authors: Federico Bianchi, Pratyusha Kalluri, Esin Durmus, Faisal Ladhak, Myra Cheng, Debora Nozza, Tatsunori Hashimoto, Dan Jurafsky, James Zou, Aylin Caliskan
• Abstract要約: 危険で複雑なステレオタイプを増幅する機械学習モデルの可能性を検討する。 さまざまな通常のプロンプトがステレオタイプを生成しており、それらは単に特性、記述子、職業、オブジェクトに言及するプロンプトを含む。
• 参考スコア（独自算出の注目度）: 61.555788332182395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models that convert user-written text descriptions into images are now widely available online and used by millions of users to generate millions of images a day. We investigate the potential for these models to amplify dangerous and complex stereotypes. We find a broad range of ordinary prompts produce stereotypes, including prompts simply mentioning traits, descriptors, occupations, or objects. For example, we find cases of prompting for basic traits or social roles resulting in images reinforcing whiteness as ideal, prompting for occupations resulting in amplification of racial and gender disparities, and prompting for objects resulting in reification of American norms. Stereotypes are present regardless of whether prompts explicitly mention identity and demographic language or avoid such language. Moreover, stereotypes persist despite mitigation strategies; neither user attempts to counter stereotypes by requesting images with specific counter-stereotypes nor institutional attempts to add system ``guardrails'' have prevented the perpetuation of stereotypes. Our analysis justifies concerns regarding the impacts of today's models, presenting striking exemplars, and connecting these findings with deep insights into harms drawn from social scientific and humanist disciplines. This work contributes to the effort to shed light on the uniquely complex biases in language-vision models and demonstrates the ways that the mass deployment of text-to-image generation models results in mass dissemination of stereotypes and resulting harms.
• Abstract（参考訳）: ユーザ記述のテキスト記述をイメージに変換する機械学習モデルは、今ではオンラインで広く利用されており、数百万のユーザが1日に数百万の画像を生成している。 これらのモデルが危険で複雑なステレオタイプを増幅する可能性について検討する。 さまざまな通常のプロンプトがステレオタイプを生成しており、それらは単に特性、記述子、職業、オブジェクトに言及するプロンプトを含む。 例えば、基本的な特徴や社会的役割を推し進めることで、白人性を強化するイメージが理想的になり、職業を推し進めることで人種や性別の格差が拡大し、アメリカの規範が改定されるオブジェクトを推し進めるケースが見つかる。 ステレオタイプは、アイデンティティと人口統計言語に明示的に言及するか、そのような言語を避けるかにかかわらず存在する。 さらにステレオタイプは緩和戦略を保ってはいるが、特定の反ステレオタイプで画像を要求したり、システム ``guardrails'' を追加したりすることでステレオタイプに対抗する試みは、ステレオタイプの持続を妨げない。 私たちの分析は、今日のモデルの影響に関する懸念を正当化し、印象的な例を示し、これらの発見と深い洞察を社会科学とヒューマニストの規律から得られた損害に結びつける。 この研究は言語ビジョンモデルにおける一意に複雑なバイアスの解消に寄与し、テキスト・ツー・イメージ生成モデルの大量展開によってステレオタイプが大量普及し、結果として害をもたらす方法を示す。

関連論文リスト

• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• Who is better at math, Jenny or Jingzhen? Uncovering Stereotypes in Large Language Models [9.734705470760511]
  我々はGlobalBiasを使って世界中の幅広いステレオタイプを研究しています。 与えられた名前に基づいて文字プロファイルを生成し、モデル出力におけるステレオタイプの有効性を評価する。
  論文  参考訳（メタデータ） (2024-07-09T14:52:52Z)
• Stereotype Detection in LLMs: A Multiclass, Explainable, and Benchmark-Driven Approach [4.908389661988191]
  本稿では, 性別, 人種, 職業, 宗教, その他のステレオタイプにまたがる51,867の事例からなるMulti-Grain Stereotype (MGS)データセットを提案する。 我々は、さまざまな機械学習アプローチを評価し、異なるアーキテクチャと大きさのベースラインと微調整言語モデルを確立する。 我々は、モデルが学習したパターンがステレオタイプに関する人間の直観と一致するかどうかを評価するために、SHAP、LIME、BertVizを含む説明可能なAI(XAI)ツールを採用する。
  論文  参考訳（メタデータ） (2024-04-02T09:31:32Z)
• Language Agents for Detecting Implicit Stereotypes in Text-to-image Models at Scale [45.64096601242646]
  テキスト・ツー・イメージモデルにおけるステレオタイプ検出に適した新しいエージェントアーキテクチャを提案する。 複数のオープンテキストデータセットに基づいたステレオタイプ関連ベンチマークを構築した。 これらのモデルは、個人的特性に関する特定のプロンプトに関して、深刻なステレオタイプを示すことが多い。
  論文  参考訳（メタデータ） (2023-10-18T08:16:29Z)
• Word-Level Explanations for Analyzing Bias in Text-to-Image Models [72.71184730702086]
  Text-to-image(T2I)モデルは、人種や性別に基づいて少数派を過小評価する画像を生成することができる。 本稿では,入力プロンプトのどの単語が生成画像のバイアスの原因となるかを検討する。
  論文  参考訳（メタデータ） (2023-06-03T21:39:07Z)
• Stereotypes and Smut: The (Mis)representation of Non-cisgender Identities by Text-to-Image Models [6.92043136971035]
  マルチモーダルモデルが男女同一性をどのように扱うかを検討する。 特定の非シスジェンダーのアイデンティティは、人間より少なく、ステレオタイプで、性的にも、一貫して(ミス)表現されている。 これらの改善は、影響のあるコミュニティによって変革が導かれる未来への道を開く可能性がある。
  論文  参考訳（メタデータ） (2023-05-26T16:28:49Z)
• A Prompt Array Keeps the Bias Away: Debiasing Vision-Language Models with Adversarial Learning [55.96577490779591]
  視覚言語モデルは社会的バイアスやステレオタイプを符号化することができる。 これらのマルチモーダル害の測定と緩和には課題がある。 バイアス尺度を調査し,画像テキスト表現にランキング指標を適用した。
  論文  参考訳（メタデータ） (2022-03-22T17:59:04Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)
• Understanding and Countering Stereotypes: A Computational Approach to the Stereotype Content Model [4.916009028580767]
  ステレオタイプコンテンツモデル(SCM)を用いてテキスト中のステレオタイプを解釈する計算手法を提案する。 SCMは、ステレオタイプは温かさと能力の2つの主要な次元に沿って理解することができると提案している。 反ステレオタイプ的な例によるステレオタイプに対抗することは、偏見的思考を減らす最も効果的な方法の1つであることが知られている。
  論文  参考訳（メタデータ） (2021-06-04T16:53:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。