論文の概要: BIGbench: A Unified Benchmark for Evaluating Multi-dimensional Social Biases in Text-to-Image Models

• arxiv url: http://arxiv.org/abs/2407.15240v4
• Date: Mon, 24 Feb 2025 09:52:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:47:46.956985
• Title: BIGbench: A Unified Benchmark for Evaluating Multi-dimensional Social Biases in Text-to-Image Models
• Title（参考訳）: BIGbench:テキスト・画像モデルにおける多次元社会的バイアス評価のための統一ベンチマーク
• Authors: Hanjun Luo, Haoyu Huang, Ziye Deng, Xuecheng Liu, Ruizhe Chen, Zuozhu Liu,
• Abstract要約: 画像生成のバイアスの統一ベンチマークであるBIGbenchを紹介する。 既存のベンチマークとは異なり、BIGbenchは4次元にわたるバイアスを分類し評価する。 BIGbenchを用いて8つの代表的T2Iモデルと3つのデバイアス法を評価する。
• 参考スコア（独自算出の注目度）: 8.24274551090375
• License:
• Abstract: Text-to-Image (T2I) generative models are becoming increasingly crucial due to their ability to generate high-quality images, but also raise concerns about social biases, particularly in human image generation. Sociological research has established systematic classifications of bias. Yet, existing studies on bias in T2I models largely conflate different types of bias, impeding methodological progress. In this paper, we introduce BIGbench, a unified benchmark for Biases of Image Generation, featuring a carefully designed dataset. Unlike existing benchmarks, BIGbench classifies and evaluates biases across four dimensions to enable a more granular evaluation and deeper analysis. Furthermore, BIGbench applies advanced multi-modal large language models to achieve fully automated and highly accurate evaluations. We apply BIGbench to evaluate eight representative T2I models and three debiasing methods. Our human evaluation results by trained evaluators from different races underscore BIGbench's effectiveness in aligning images and identifying various biases. Moreover, our study also reveals new research directions about biases with insightful analysis of our results. Our work is openly accessible at https://github.com/BIGbench2024/BIGbench2024/.
• Abstract（参考訳）: テキスト・ツー・イメージ(T2I)生成モデルは、高品質な画像を生成する能力によってますます重要になってきていますが、特に人間の画像生成において、社会的バイアスに対する懸念も高まっています。 社会学的研究はバイアスの体系的な分類を確立した。 しかし、T2Iモデルにおけるバイアスに関する既存の研究は、様々な種類のバイアスを主に説明し、方法論的な進歩を妨げる。 本稿では,ビアース・オブ・イメージ・ジェネレーションのための統合ベンチマークであるBIGbenchを紹介する。 既存のベンチマークとは異なり、BIGbenchはよりきめ細かい評価とより深い分析を可能にするために、4次元にわたるバイアスを分類し評価する。 さらに、BIGbenchは完全に自動化され、高精度な評価を実現するために、高度なマルチモーダルな大規模言語モデルを適用している。 BIGbenchを用いて8つの代表的T2Iモデルと3つのデバイアス法を評価する。 異なる人種の訓練された評価者による人間の評価結果は、画像の整列と様々なバイアスの同定におけるBIGbenchの有効性を裏付けるものである。 さらに、本研究では、バイアスに関する新たな研究の方向性を明らかにし、結果の洞察に富んだ分析を行った。 私たちの作業はhttps://github.com/BIGbench2024/BIGbench2024/で公開されています。

関連論文リスト

• FairT2I: Mitigating Social Bias in Text-to-Image Generation via Large Language Model-Assisted Detection and Attribute Rebalancing [32.01426831450348]
  本稿では,T2I生成における社会的バイアスの検出と緩和に,大規模言語モデルを活用する新しいフレームワークであるFairT2Iを紹介する。 以上の結果から,FairT2Iは社会的偏見を緩和し,画像の感度特性の多様性を高めることができた。
  論文  参考訳（メタデータ） (2025-02-06T07:22:57Z)
• GradBias: Unveiling Word Influence on Bias in Text-to-Image Generative Models [75.04426753720553]
  開集合におけるバイアスを特定し,定量化し,説明するための枠組みを提案する。 このパイプラインはLarge Language Model (LLM)を活用して、一連のキャプションから始まるバイアスを提案する。 このフレームワークには、OpenBiasとGradBiasの2つのバリエーションがあります。
  論文  参考訳（メタデータ） (2024-08-29T16:51:07Z)
• VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
  我々は、LVLM(Large Vision-Language Models)におけるバイアスを評価するベンチマークであるVLBiasBenchを紹介する。 VLBiasBenchは、年齢、障害ステータス、性別、国籍、身体的外観、人種、宗教、職業、社会経済ステータスを含む9つの異なる社会バイアスのカテゴリを含むデータセットと、人種x性別と人種x社会経済ステータスの2つの交叉バイアスのカテゴリを含む。 15のオープンソースモデルと2つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルに存在するバイアスに関する新たな洞察を得る。
  論文  参考訳（メタデータ） (2024-06-20T10:56:59Z)
• FAIntbench: A Holistic and Precise Benchmark for Bias Evaluation in Text-to-Image Models [7.30796695035169]
  FAIntbenchは、テキスト・トゥ・イメージ(T2I)モデルにおけるバイアスの総合的かつ正確なベンチマークである。 我々はFAIntbenchを7種類の大規模T2Iモデルの評価に適用し,人間による評価を行った。 その結果, FAIntbenchが種々のバイアスの同定に有効であった。
  論文  参考訳（メタデータ） (2024-05-28T04:18:00Z)
• Survey of Bias In Text-to-Image Generation: Definition, Evaluation, and Mitigation [47.770531682802314]
  単純なプロンプトであっても、T2Iモデルは生成された画像に顕著な社会的偏見を示す可能性がある。 本研究は,T2I生成モデルにおけるバイアスに関する最初の広範な調査である。 これらの作業がどのようにしてバイアスの異なる側面を定義し、評価し、緩和するかについて議論する。
  論文  参考訳（メタデータ） (2024-04-01T10:19:05Z)
• Classes Are Not Equal: An Empirical Study on Image Recognition Fairness [100.36114135663836]
  我々は,クラスが等しくないことを実験的に証明し,様々なデータセットにまたがる画像分類モデルにおいて,公平性の問題が顕著であることを示した。 以上の結果から,モデルでは認識が困難であるクラスに対して,予測バイアスが大きくなる傾向が示唆された。 データ拡張および表現学習アルゴリズムは、画像分類のある程度の公平性を促進することにより、全体的なパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-02-28T07:54:50Z)
• Quantifying Bias in Text-to-Image Generative Models [49.60774626839712]
  テキスト・トゥ・イメージ(T2I)モデルにおけるバイアスは不公平な社会的表現を伝播させ、アイデアを積極的にマーケティングしたり、議論の的となっている議題を推進したりするのに用いられる。 既存のT2Iモデルバイアス評価手法は、社会的バイアスのみに焦点を当てる。 本稿では,T2I生成モデルにおける一般バイアスの定量化手法を提案する。
  論文  参考訳（メタデータ） (2023-12-20T14:26:54Z)
• TIBET: Identifying and Evaluating Biases in Text-to-Image Generative Models [22.076898042211305]
  我々は、任意のTTIモデルと任意のプロンプトに対して、幅広いバイアススペクトルを研究、定量化するための一般的なアプローチを提案する。 我々の手法は、与えられたプロンプトに関連する可能性のある潜在的なバイアスを自動的に識別し、それらのバイアスを測定する。 本研究では,本手法が意味論的概念を通じて複雑な多次元バイアスを説明できることを示す。
  論文  参考訳（メタデータ） (2023-12-03T02:31:37Z)
• Unravelling the Effect of Image Distortions for Biased Prediction of Pre-trained Face Recognition Models [86.79402670904338]
  画像歪みの存在下での4つの最先端深層顔認識モデルの性能評価を行った。 我々は、画像歪みが、異なるサブグループ間でのモデルの性能ギャップと関係していることを観察した。
  論文  参考訳（メタデータ） (2021-08-14T16:49:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。