論文の概要: The Factuality Tax of Diversity-Intervened Text-to-Image Generation: Benchmark and Fact-Augmented Intervention

• arxiv url: http://arxiv.org/abs/2407.00377v2
• Date: Wed, 23 Oct 2024 22:53:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:52:18.827106
• Title: The Factuality Tax of Diversity-Intervened Text-to-Image Generation: Benchmark and Fact-Augmented Intervention
• Title（参考訳）: 多様性を介するテキスト・画像生成の実態税--ベンチマークとFact-Augmented Intervention
• Authors: Yixin Wan, Di Wu, Haoran Wang, Kai-Wei Chang,
• Abstract要約: 我々は多様性の介入とT2Iモデルにおける人口統計学的事実性とのトレードオフを定量化する。 DoFaiRの実験では、多様性指向の指示によって、性別や人種の異なる集団の数が増加することが明らかになった。 本研究では,歴史における世代ごとのジェンダーや人種構成について,言語化された事実情報を反映したFact-Augmented Intervention (FAI)を提案する。
• 参考スコア（独自算出の注目度）: 61.80236015147771
• License:
• Abstract: Prompt-based "diversity interventions" are commonly adopted to improve the diversity of Text-to-Image (T2I) models depicting individuals with various racial or gender traits. However, will this strategy result in nonfactual demographic distribution, especially when generating real historical figures. In this work, we propose DemOgraphic FActualIty Representation (DoFaiR), a benchmark to systematically quantify the trade-off between using diversity interventions and preserving demographic factuality in T2I models. DoFaiR consists of 756 meticulously fact-checked test instances to reveal the factuality tax of various diversity prompts through an automated evidence-supported evaluation pipeline. Experiments on DoFaiR unveil that diversity-oriented instructions increase the number of different gender and racial groups in DALLE-3's generations at the cost of historically inaccurate demographic distributions. To resolve this issue, we propose Fact-Augmented Intervention (FAI), which instructs a Large Language Model (LLM) to reflect on verbalized or retrieved factual information about gender and racial compositions of generation subjects in history, and incorporate it into the generation context of T2I models. By orienting model generations using the reflected historical truths, FAI significantly improves the demographic factuality under diversity interventions while preserving diversity.
• Abstract（参考訳）: プロンプトに基づく「多様性介入」は、様々な人種的または性的な特徴を持つ個人を描写するテキスト・ツー・イメージ(T2I)モデルの多様性を改善するために一般的に採用されている。 しかし、この戦略は、特に実際の歴史的数字を生成する際には、非実人口分布をもたらすのだろうか。 本研究では,多様性の介入とT2Iモデルにおける人口統計学的事実性の保持の間のトレードオフを体系的に定量化するベンチマークであるDemOgraphic FActualIty Representation (DoFaiR)を提案する。 DoFaiRは、自動化されたエビデンス支援評価パイプラインを通じて、さまざまなダイバーシティプロンプトの事実税を明らかにするために、756の精巧に事実チェックされたテストインスタンスで構成されている。 DoFaiRの実験では、多様性指向の指示は、歴史的に不正確な人口分布を犠牲にして、DALLE-3世代における異なる性別と人種集団の数を増加させることが示された。 この問題を解決するために,Fact-Augmented Intervention (FAI) を提案する。Large Language Model (LLM) は,歴史における世代ごとのジェンダーや人種構成に関する言語化された事実情報を反映し,それをT2Iモデルの生成コンテキストに組み込む。 歴史的事実を反映したモデル世代をオリエンテーションすることで、FAIは多様性を保ちながら多様性の介入の下での人口的事実性を著しく改善する。

関連論文リスト

• GRADE: Quantifying Sample Diversity in Text-to-Image Models [66.12068246962762]
  本稿では,サンプルの多様性を定量化する手法であるGRADE: Granular Attribute Diversity Evaluationを提案する。 400のコンセプト属性ペアを用いて12のT2Iモデルの全体的な多様性を測定し、すべてのモデルが限定的な変動を示すことを示した。 我々の研究は、サンプルの多様性を測定するための現代的で意味論的に駆動されたアプローチを提案し、T2Iモデルによる出力の驚くべき均一性を強調している。
  論文  参考訳（メタデータ） (2024-10-29T23:10:28Z)
• Evaluating Large Language Models through Gender and Racial Stereotypes [0.0]
  質比較研究を行い、性別と人種の2種類の偏見を前提として、言語モデルを評価する枠組みを確立する。 より古いモデルに比べて、新しいモデルでは男女の偏見が大幅に減少したが、人種の偏見は依然として存在する。
  論文  参考訳（メタデータ） (2023-11-24T18:41:16Z)
• All Should Be Equal in the Eyes of Language Models: Counterfactually Aware Fair Text Generation [16.016546693767403]
  本研究では,多様な階層のモデル理解を動的に比較し,より公平な文を生成する枠組みを提案する。 CAFIEはより公平なテキストを生成し、公平性と言語モデリング能力の最良のバランスを打ちます。
  論文  参考訳（メタデータ） (2023-11-09T15:39:40Z)
• Exposing Bias in Online Communities through Large-Scale Language Models [3.04585143845864]
  この研究は、言語モデルにおけるバイアスの欠陥を使用して、6つの異なるオンラインコミュニティのバイアスを調査します。 得られたモデルのバイアスは、異なる人口層を持つモデルに促し、これらの世代における感情と毒性の値を比較することで評価される。 この作業は、トレーニングデータからバイアスがどの程度容易に吸収されるかを確認するだけでなく、さまざまなデータセットやコミュニティのバイアスを特定し比較するためのスケーラブルな方法も提示する。
  論文  参考訳（メタデータ） (2023-06-04T08:09:26Z)
• Stable Bias: Analyzing Societal Representations in Diffusion Models [72.27121528451528]
  本稿では,テキスト・ツー・イメージ(TTI)システムにおける社会的バイアスを探索する新しい手法を提案する。 我々のアプローチは、プロンプト内の性別や民族のマーカーを列挙して生成された画像の変動を特徴づけることに依存している。 我々はこの手法を利用して3つのTTIシステムによって生成された画像を分析し、そのアウトプットが米国の労働人口層と相関しているのに対して、彼らは常に異なる範囲において、限界化されたアイデンティティを低く表現している。
  論文  参考訳（メタデータ） (2023-03-20T19:32:49Z)
• Semantic Diversity in Dialogue with Natural Language Inference [19.74618235525502]
  本稿では,対話生成における多様性向上に2つの重要な貢献をする。 まず、自然言語推論(NLI)を用いて、会話に対するモデル応答の集合のセマンティック多様性を測定する新しいメトリクスを提案する。 第2に,多様性閾値生成と呼ばれる新世代の手法を用いて,サンプル化された応答集合のセマンティック多様性を反復的に改善する方法を実証する。
  論文  参考訳（メタデータ） (2022-05-03T13:56:32Z)
• How True is GPT-2? An Empirical Analysis of Intersectional Occupational Biases [50.591267188664666]
  下流のアプリケーションは、自然言語モデルに含まれるバイアスを継承するリスクがある。 一般的な生成言語モデルであるGPT-2の作業バイアスを分析した。 特定の仕事について、GPT-2は米国におけるジェンダーと民族の社会的偏見を反映しており、場合によってはジェンダー・パリティの傾向を反映している。
  論文  参考訳（メタデータ） (2021-02-08T11:10:27Z)
• Enhancing Facial Data Diversity with Style-based Face Aging [59.984134070735934]
  特に、顔データセットは、通常、性別、年齢、人種などの属性の観点からバイアスされる。 本稿では, 細粒度の老化パターンをキャプチャするデータ拡張のための, 生成スタイルに基づく新しいアーキテクチャを提案する。 提案手法は, 年齢移動のための最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-06T21:53:44Z)
• Towards Controllable Biases in Language Generation [87.89632038677912]
  本研究では、特定の人口集団の言及を含む入力プロンプトによって生成されたテキストの社会的バイアスを誘導する手法を開発した。 1 つの人口統計学において負のバイアスを誘発し、もう1 つの人口統計学において正のバイアスを誘導し、2 つのシナリオを分析する。
  論文  参考訳（メタデータ） (2020-05-01T08:25:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。