論文の概要: FAIntbench: A Holistic and Precise Benchmark for Bias Evaluation in Text-to-Image Models

• arxiv url: http://arxiv.org/abs/2405.17814v2
• Date: Thu, 6 Jun 2024 04:23:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 20:13:39.041598
• Title: FAIntbench: A Holistic and Precise Benchmark for Bias Evaluation in Text-to-Image Models
• Title（参考訳）: FAIntbench: テキスト・画像モデルにおけるバイアス評価のための完全かつ高精度なベンチマーク
• Authors: Hanjun Luo, Ziye Deng, Ruizhe Chen, Zuozhu Liu,
• Abstract要約: FAIntbenchは、テキスト・トゥ・イメージ(T2I)モデルにおけるバイアスの総合的かつ正確なベンチマークである。 我々はFAIntbenchを7種類の大規模T2Iモデルの評価に適用し,人間による評価を行った。 その結果, FAIntbenchが種々のバイアスの同定に有効であった。
• 参考スコア（独自算出の注目度）: 7.30796695035169
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid development and reduced barriers to entry for Text-to-Image (T2I) models have raised concerns about the biases in their outputs, but existing research lacks a holistic definition and evaluation framework of biases, limiting the enhancement of debiasing techniques. To address this issue, we introduce FAIntbench, a holistic and precise benchmark for biases in T2I models. In contrast to existing benchmarks that evaluate bias in limited aspects, FAIntbench evaluate biases from four dimensions: manifestation of bias, visibility of bias, acquired attributes, and protected attributes. We applied FAIntbench to evaluate seven recent large-scale T2I models and conducted human evaluation, whose results demonstrated the effectiveness of FAIntbench in identifying various biases. Our study also revealed new research questions about biases, including the side-effect of distillation. The findings presented here are preliminary, highlighting the potential of FAIntbench to advance future research aimed at mitigating the biases in T2I models. Our benchmark is publicly available to ensure the reproducibility.
• Abstract（参考訳）: テキスト・ツー・イメージ(T2I)モデルへの急速な開発と参入障壁の低減は、出力のバイアスに関する懸念を提起しているが、既存の研究ではバイアスの全体的定義と評価の枠組みが欠如しており、デバイアス手法の強化が制限されている。 この問題に対処するために、我々はT2Iモデルにおけるバイアスの総合的かつ正確なベンチマークであるFAIntbenchを紹介する。 限定的な側面でバイアスを評価する既存のベンチマークとは対照的に、FAIntbenchはバイアスの表示、バイアスの可視性、取得された属性、保護された属性の4つの次元からバイアスを評価する。 FAIntbenchを7種類の大規模T2Iモデル評価に適用し, 各種バイアスの同定にFAIntbenchの有効性を実証した。 また, 蒸留の副作用など, バイアスに関する新たな研究課題も明らかにした。 この結果は予備的であり、T2Iモデルのバイアスを軽減することを目的とした将来の研究を進めるためのFAIntbenchの可能性を強調している。 私たちのベンチマークは再現性を確保するために公開されています。

関連論文リスト

• Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• BIGbench: A Unified Benchmark for Social Bias in Text-to-Image Generative Models Based on Multi-modal LLM [8.24274551090375]
  画像生成のバイアスの統一ベンチマークであるBIGbenchを紹介する。 既存のベンチマークとは異なり、BIGbenchは4次元にわたるバイアスを分類し評価する。 また, 蒸留効果や無関係な保護属性など, バイアスに関する新たな研究方向を明らかにした。
  論文  参考訳（メタデータ） (2024-07-21T18:09:40Z)
• Thinking Racial Bias in Fair Forgery Detection: Models, Datasets and Evaluations [63.52709761339949]
  最初に、Fair Forgery Detection(FairFD)データセットと呼ばれる専用のデータセットをコントリビュートし、SOTA(Public State-of-the-art)メソッドの人種的偏見を証明する。 我々は、偽りの結果を避けることができる平均的メトリクスと実用正規化メトリクスを含む新しいメトリクスを設計する。 また,有効で堅牢な後処理技術であるBias Pruning with Fair Activations (BPFA)も提案する。
  論文  参考訳（メタデータ） (2024-07-19T14:53:18Z)
• Towards Real World Debiasing: A Fine-grained Analysis On Spurious Correlation [17.080528126651977]
  既存のベンチマークと実世界のデータセットのバイアス分布を再検討し、データセットバイアスを分析するためのきめ細かいフレームワークを提案する。 その結果,既存の手法では現実のバイアスに対処できないことがわかった。 本稿では,Debias in Destruction (DiD) という,既存のデバイアス法に容易に適用可能な,シンプルかつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-24T06:06:41Z)
• Survey of Bias In Text-to-Image Generation: Definition, Evaluation, and Mitigation [47.770531682802314]
  単純なプロンプトであっても、T2Iモデルは生成された画像に顕著な社会的偏見を示す可能性がある。 本研究は,T2I生成モデルにおけるバイアスに関する最初の広範な調査である。 これらの作業がどのようにしてバイアスの異なる側面を定義し、評価し、緩和するかについて議論する。
  論文  参考訳（メタデータ） (2024-04-01T10:19:05Z)
• Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
  近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。 本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2024-03-15T02:04:35Z)
• Quantifying Bias in Text-to-Image Generative Models [49.60774626839712]
  テキスト・トゥ・イメージ(T2I)モデルにおけるバイアスは不公平な社会的表現を伝播させ、アイデアを積極的にマーケティングしたり、議論の的となっている議題を推進したりするのに用いられる。 既存のT2Iモデルバイアス評価手法は、社会的バイアスのみに焦点を当てる。 本稿では,T2I生成モデルにおける一般バイアスの定量化手法を提案する。
  論文  参考訳（メタデータ） (2023-12-20T14:26:54Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Targeted Data Augmentation for bias mitigation [0.0]
  我々は、TDA(Targeted Data Augmentation)と呼ばれるバイアスに対処するための、新しく効率的なアプローチを導入する。 バイアスを除去する面倒な作業とは異なり、本手法は代わりにバイアスを挿入することを提案し、結果として性能が向上する。 偏見を特定するために,臨床皮膚病変のデータセットと男女の顔のデータセットの2つの多様なデータセットを注釈した。
  論文  参考訳（メタデータ） (2023-08-22T12:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。