論文の概要: BIGbench: A Unified Benchmark for Social Bias in Text-to-Image Generative Models Based on Multi-modal LLM

• arxiv url: http://arxiv.org/abs/2407.15240v2
• Date: Tue, 23 Jul 2024 12:13:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 12:09:42.216243
• Title: BIGbench: A Unified Benchmark for Social Bias in Text-to-Image Generative Models Based on Multi-modal LLM
• Title（参考訳）: BIGbench:マルチモーダルLCMに基づくテキスト・画像生成モデルにおけるソーシャルバイアスの統一ベンチマーク
• Authors: Hanjun Luo, Haoyu Huang, Ziye Deng, Xuecheng Liu, Ruizhe Chen, Zuozhu Liu,
• Abstract要約: テキスト・ツー・イメージ(T2I)生成モデルは、複雑で高品質な画像を生成する能力においてより重要になっている。 本稿では,ビジェス・オブ・イメージ・ジェネレーションのための統一ベンチマークであるBIGbenchを,よく設計されたデータセットで紹介する。 既存のベンチマークとは対照的に、BIGbenchは複雑なバイアスを4次元に分類し評価する。
• 参考スコア（独自算出の注目度）: 8.24274551090375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-Image (T2I) generative models are becoming more crucial in terms of their ability to generate complex and high-quality images, which also raises concerns about the social biases in their outputs, especially in human generation. Sociological research has established systematic classifications of bias; however, existing research of T2I models often conflates different types of bias, hindering the progress of these methods. In this paper, we introduce BIGbench, a unified benchmark for Biases of Image Generation with a well-designed dataset. In contrast to existing benchmarks, BIGbench classifies and evaluates complex biases into four dimensions: manifestation of bias, visibility of bias, acquired attributes, and protected attributes. Additionally, BIGbench applies advanced multi-modal large language models (MLLM), achieving fully automated evaluation while maintaining high accuracy. We apply BIGbench to evaluate eight recent general T2I models and three debiased methods. We also conduct human evaluation, whose results demonstrated the effectiveness of BIGbench in aligning images and identifying various biases. Besides, our study also revealed new research directions about biases, including the side-effect of irrelevant protected attributes and distillation. Our dataset and benchmark is openly accessible to the research community to ensure the reproducibility.
• Abstract（参考訳）: テキスト・ツー・イメージ(T2I)生成モデルは、複雑な高品質の画像を生成する能力においてより重要になっている。 社会学的研究は、バイアスの体系的な分類を確立してきたが、既存のT2Iモデルの研究は、しばしば異なる種類のバイアスを混同し、これらの手法の進歩を妨げる。 本稿では,ビジェス・オブ・イメージ・ジェネレーションのための統一ベンチマークであるBIGbenchを,よく設計されたデータセットで紹介する。 既存のベンチマークとは対照的に、BIGbenchは複雑なバイアスを4つの次元に分類し評価している。 さらに、BIGbenchは高度なマルチモーダル大言語モデル(MLLM)を適用し、高い精度を維持しながら完全な自動評価を実現する。 BIGbenchを応用して,最近の一般的なT2Iモデルと3つのデバイアスド手法を評価する。 また,画像のアライメントと様々なバイアスの同定において,BIGbenchの有効性を実証した。 また,無関係な保護属性の副作用や蒸留など,バイアスに関する新たな研究方向も明らかにした。 私たちのデータセットとベンチマークは、再現性を確保するために、研究コミュニティに公開アクセスできます。

関連論文リスト

• VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
  VLBiasBenchは、LVLM(Large Vision-Language Models)におけるバイアスの評価を目的としたベンチマークである。 我々は、年齢、障害状態、性別、国籍、身体的外観、人種、宗教、職業、社会的経済状態、および2つの交叉バイアスカテゴリー(人種x性、人種x社会経済状態)を含む9つの異なる社会バイアスカテゴリーを含むデータセットを構築した。 15のオープンソースモデルと1つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルから明らかになったバイアスに関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2024-06-20T10:56:59Z)
• FAIntbench: A Holistic and Precise Benchmark for Bias Evaluation in Text-to-Image Models [7.30796695035169]
  FAIntbenchは、テキスト・トゥ・イメージ(T2I)モデルにおけるバイアスの総合的かつ正確なベンチマークである。 我々はFAIntbenchを7種類の大規模T2Iモデルの評価に適用し,人間による評価を行った。 その結果, FAIntbenchが種々のバイアスの同定に有効であった。
  論文  参考訳（メタデータ） (2024-05-28T04:18:00Z)
• Survey of Bias In Text-to-Image Generation: Definition, Evaluation, and Mitigation [47.770531682802314]
  単純なプロンプトであっても、T2Iモデルは生成された画像に顕著な社会的偏見を示す可能性がある。 本研究は,T2I生成モデルにおけるバイアスに関する最初の広範な調査である。 これらの作業がどのようにしてバイアスの異なる側面を定義し、評価し、緩和するかについて議論する。
  論文  参考訳（メタデータ） (2024-04-01T10:19:05Z)
• Classes Are Not Equal: An Empirical Study on Image Recognition Fairness [100.36114135663836]
  我々は,クラスが等しくないことを実験的に証明し,様々なデータセットにまたがる画像分類モデルにおいて,公平性の問題が顕著であることを示した。 以上の結果から,モデルでは認識が困難であるクラスに対して,予測バイアスが大きくなる傾向が示唆された。 データ拡張および表現学習アルゴリズムは、画像分類のある程度の公平性を促進することにより、全体的なパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-02-28T07:54:50Z)
• Quantifying Bias in Text-to-Image Generative Models [49.60774626839712]
  テキスト・トゥ・イメージ(T2I)モデルにおけるバイアスは不公平な社会的表現を伝播させ、アイデアを積極的にマーケティングしたり、議論の的となっている議題を推進したりするのに用いられる。 既存のT2Iモデルバイアス評価手法は、社会的バイアスのみに焦点を当てる。 本稿では,T2I生成モデルにおける一般バイアスの定量化手法を提案する。
  論文  参考訳（メタデータ） (2023-12-20T14:26:54Z)
• TIBET: Identifying and Evaluating Biases in Text-to-Image Generative Models [22.076898042211305]
  我々は、任意のTTIモデルと任意のプロンプトに対して、幅広いバイアススペクトルを研究、定量化するための一般的なアプローチを提案する。 我々の手法は、与えられたプロンプトに関連する可能性のある潜在的なバイアスを自動的に識別し、それらのバイアスを測定する。 本研究では,本手法が意味論的概念を通じて複雑な多次元バイアスを説明できることを示す。
  論文  参考訳（メタデータ） (2023-12-03T02:31:37Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Unravelling the Effect of Image Distortions for Biased Prediction of Pre-trained Face Recognition Models [86.79402670904338]
  画像歪みの存在下での4つの最先端深層顔認識モデルの性能評価を行った。 我々は、画像歪みが、異なるサブグループ間でのモデルの性能ギャップと関係していることを観察した。
  論文  参考訳（メタデータ） (2021-08-14T16:49:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。