論文の概要: BIGbench: A Unified Benchmark for Social Bias in Text-to-Image Generative Models Based on Multi-modal LLM

• arxiv url: http://arxiv.org/abs/2407.15240v3
• Date: Fri, 16 Aug 2024 05:53:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 17:49:17.965694
• Title: BIGbench: A Unified Benchmark for Social Bias in Text-to-Image Generative Models Based on Multi-modal LLM
• Title（参考訳）: BIGbench:マルチモーダルLCMに基づくテキスト・画像生成モデルにおけるソーシャルバイアスの統一ベンチマーク
• Authors: Hanjun Luo, Haoyu Huang, Ziye Deng, Xuecheng Liu, Ruizhe Chen, Zuozhu Liu,
• Abstract要約: 画像生成のバイアスの統一ベンチマークであるBIGbenchを紹介する。 既存のベンチマークとは異なり、BIGbenchは4次元にわたるバイアスを分類し評価する。 また, 蒸留効果や無関係な保護属性など, バイアスに関する新たな研究方向を明らかにした。
• 参考スコア（独自算出の注目度）: 8.24274551090375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-Image (T2I) generative models are becoming increasingly crucial due to their ability to generate high-quality images, which also raises concerns about the social biases in their outputs, especially in the human generation. Sociological research has established systematic classifications of bias. However, existing bias research about T2I models conflates different types of bias, impeding methodological progress. In this paper, we introduce BIGbench, a unified benchmark for Biases of Image Generation, featuring a meticulously designed dataset. Unlike existing benchmarks, BIGbench classifies and evaluates biases across four dimensions: manifestation of bias, visibility of bias, acquired attributes, and protected attributes, which ensures exceptional accuracy for analysis. Furthermore, BIGbench applies advanced multi-modal large language models to achieve fully automated and highly accurate evaluations. We apply BIGbench to evaluate eight representative general T2I models and three debiased methods. Our human evaluation results underscore BIGbench's effectiveness in aligning images and identifying various biases. Besides, our study also reveal new research directions about biases, such as the effect of distillation and irrelevant protected attributes. Our benchmark is openly accessible at https://github.com/BIGbench2024/BIGbench2024/ to ensure reproducibility.
• Abstract（参考訳）: テキスト・ツー・イメージ(T2I)生成モデルは、高品質な画像を生成する能力によってますます重要になりつつある。 社会学的研究はバイアスの体系的な分類を確立した。 しかしながら、既存のT2Iモデルに関するバイアス研究は、様々な種類のバイアスを混同し、方法論的な進歩を妨げる。 本稿では,ビアース・オブ・イメージ・ジェネレーションのための統合ベンチマークであるBIGbenchを紹介する。 既存のベンチマークとは異なり、BIGbenchは、バイアスの表示、バイアスの可視性、取得された属性、および保護された属性の4つの次元にわたるバイアスを分類し評価し、分析の例外的な精度を保証する。 さらに、BIGbenchは完全に自動化され、高精度な評価を実現するために、高度なマルチモーダルな大規模言語モデルを適用している。 BIGbenchを用いて8つの一般的なT2Iモデルと3つのデバイアスド手法を評価する。 我々の評価結果は、画像の整列と様々なバイアスの同定におけるBIGbenchの有効性を裏付けるものである。 また, 蒸留効果や無関係な保護属性など, バイアスに関する新たな研究方向も明らかにした。 私たちのベンチマークは、再現性を確保するためにhttps://github.com/BIGbench2024/BIGbench2024/で公開されています。

関連論文リスト

• GradBias: Unveiling Word Influence on Bias in Text-to-Image Generative Models [75.04426753720553]
  開集合におけるバイアスを特定し,定量化し,説明するための枠組みを提案する。 このパイプラインはLarge Language Model (LLM)を活用して、一連のキャプションから始まるバイアスを提案する。 このフレームワークには、OpenBiasとGradBiasの2つのバリエーションがあります。
  論文  参考訳（メタデータ） (2024-08-29T16:51:07Z)
• VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
  VLBiasBenchは、LVLM(Large Vision-Language Models)におけるバイアスの評価を目的としたベンチマークである。 我々は、年齢、障害状態、性別、国籍、身体的外観、人種、宗教、職業、社会的経済状態、および2つの交叉バイアスカテゴリー(人種x性、人種x社会経済状態)を含む9つの異なる社会バイアスカテゴリーを含むデータセットを構築した。 15のオープンソースモデルと1つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルから明らかになったバイアスに関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2024-06-20T10:56:59Z)
• FAIntbench: A Holistic and Precise Benchmark for Bias Evaluation in Text-to-Image Models [7.30796695035169]
  FAIntbenchは、テキスト・トゥ・イメージ(T2I)モデルにおけるバイアスの総合的かつ正確なベンチマークである。 我々はFAIntbenchを7種類の大規模T2Iモデルの評価に適用し,人間による評価を行った。 その結果, FAIntbenchが種々のバイアスの同定に有効であった。
  論文  参考訳（メタデータ） (2024-05-28T04:18:00Z)
• Survey of Bias In Text-to-Image Generation: Definition, Evaluation, and Mitigation [47.770531682802314]
  単純なプロンプトであっても、T2Iモデルは生成された画像に顕著な社会的偏見を示す可能性がある。 本研究は,T2I生成モデルにおけるバイアスに関する最初の広範な調査である。 これらの作業がどのようにしてバイアスの異なる側面を定義し、評価し、緩和するかについて議論する。
  論文  参考訳（メタデータ） (2024-04-01T10:19:05Z)
• Classes Are Not Equal: An Empirical Study on Image Recognition Fairness [100.36114135663836]
  我々は,クラスが等しくないことを実験的に証明し,様々なデータセットにまたがる画像分類モデルにおいて,公平性の問題が顕著であることを示した。 以上の結果から,モデルでは認識が困難であるクラスに対して,予測バイアスが大きくなる傾向が示唆された。 データ拡張および表現学習アルゴリズムは、画像分類のある程度の公平性を促進することにより、全体的なパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-02-28T07:54:50Z)
• Quantifying Bias in Text-to-Image Generative Models [49.60774626839712]
  テキスト・トゥ・イメージ(T2I)モデルにおけるバイアスは不公平な社会的表現を伝播させ、アイデアを積極的にマーケティングしたり、議論の的となっている議題を推進したりするのに用いられる。 既存のT2Iモデルバイアス評価手法は、社会的バイアスのみに焦点を当てる。 本稿では,T2I生成モデルにおける一般バイアスの定量化手法を提案する。
  論文  参考訳（メタデータ） (2023-12-20T14:26:54Z)
• TIBET: Identifying and Evaluating Biases in Text-to-Image Generative Models [22.076898042211305]
  我々は、任意のTTIモデルと任意のプロンプトに対して、幅広いバイアススペクトルを研究、定量化するための一般的なアプローチを提案する。 我々の手法は、与えられたプロンプトに関連する可能性のある潜在的なバイアスを自動的に識別し、それらのバイアスを測定する。 本研究では,本手法が意味論的概念を通じて複雑な多次元バイアスを説明できることを示す。
  論文  参考訳（メタデータ） (2023-12-03T02:31:37Z)
• Unravelling the Effect of Image Distortions for Biased Prediction of Pre-trained Face Recognition Models [86.79402670904338]
  画像歪みの存在下での4つの最先端深層顔認識モデルの性能評価を行った。 我々は、画像歪みが、異なるサブグループ間でのモデルの性能ギャップと関係していることを観察した。
  論文  参考訳（メタデータ） (2021-08-14T16:49:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。