論文の概要: VersusDebias: Universal Zero-Shot Debiasing for Text-to-Image Models via SLM-Based Prompt Engineering and Generative Adversary
- arxiv url: http://arxiv.org/abs/2407.19524v3
- Date: Fri, 16 Aug 2024 06:24:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 17:49:17.943322
- Title: VersusDebias: Universal Zero-Shot Debiasing for Text-to-Image Models via SLM-Based Prompt Engineering and Generative Adversary
- Title（参考訳）: VersusDebias: SLMベースのプロンプトエンジニアリングとジェネレーティブ・アドバイザリーによるテキスト・ツー・イメージモデルのためのユニバーサルゼロショットデバイアス
- Authors: Hanjun Luo, Ziye Deng, Haoyu Huang, Xuecheng Liu, Ruizhe Chen, Zuozhu Liu,
- Abstract要約: 本稿では,任意のテキスト・トゥ・イメージ(T2I)モデルにおけるバイアスに対する新奇で普遍的なデバイアスフレームワークであるVersusDebiasを紹介する。
自己適応モジュールは、プロセス後の幻覚と複数の属性を同時にデバイアスする特別な属性配列を生成する。
ゼロショットと少数ショットの両方のシナリオでは、VersusDebiasは既存のメソッドよりも優れており、例外的なユーティリティを示している。
- 参考スコア（独自算出の注目度）: 8.24274551090375
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rapid development of Text-to-Image (T2I) models, biases in human image generation against demographic social groups become a significant concern, impacting fairness and ethical standards in AI. Some researchers propose their methods to tackle with the issue. However, existing methods are designed for specific models with fixed prompts, limiting their adaptability to the fast-evolving models and diverse practical scenarios. Moreover, they neglect the impact of hallucinations, leading to discrepancies between expected and actual results. To address these issues, we introduce VersusDebias, a novel and universal debiasing framework for biases in arbitrary T2I models, consisting of an array generation (AG) module and an image generation (IG) module. The self-adaptive AG module generates specialized attribute arrays to post-process hallucinations and debias multiple attributes simultaneously. The IG module employs a small language model to modify prompts according to the arrays and drives the T2I model to generate debiased images, enabling zero-shot debiasing. Extensive experiments demonstrate VersusDebias's capability to debias any models across gender, race, and age simultaneously. In both zero-shot and few-shot scenarios, VersusDebias outperforms existing methods, showcasing its exceptional utility. Our work is accessible at https://github.com/VersusDebias/VersusDebias to ensure reproducibility and facilitate further research.
- Abstract（参考訳）: テキスト・ツー・イメージ・モデル(T2I)の急速な発展に伴い、人口統計群に対する人間の画像生成のバイアスが重要な関心事となり、AIの公正性と倫理的基準に影響を及ぼす。
この問題に対処する方法を提案する研究者もいる。
しかし、既存の手法は固定的なプロンプトを持つ特定のモデルのために設計されており、高速進化モデルや多様な実践シナリオへの適応性を制限している。
さらに、幻覚の影響を無視し、期待結果と実際の結果の相違をもたらす。
これらの問題に対処するため、我々は任意のT2Iモデルにおいて、配列生成(AG)モジュールと画像生成(IG)モジュールからなるバイアスの新しい普遍的デバイアスフレームワークであるVersusDebiasを紹介した。
自己適応AGモジュールは、プロセス後の幻覚と複数の属性を同時にデバイアスする特別な属性配列を生成する。
IGモジュールは、配列に従ってプロンプトを変更するために小さな言語モデルを使用し、T2Iモデルを駆動してデバイアス画像を生成し、ゼロショットデバイアスを可能にする。
大規模な実験は、VersusDebiasが性、人種、年齢のあらゆるモデルを同時に脱バイアスする能力を示している。
ゼロショットと少数ショットの両方のシナリオでは、VersusDebiasは既存のメソッドよりも優れており、例外的なユーティリティを示している。
私たちの仕事は、再現性を確保し、さらなる研究を促進するためにhttps://github.com/VersusDebias/VersusDebiasでアクセスできます。
関連論文リスト
- Debias your Large Multi-Modal Model at Test-Time with Non-Contrastive Visual Attribute Steering [7.471995248769638]
大規模マルチモーダルモデル(LMM)のための新しいデバイアス化フレームワークを提案する。
提案手法は,1つの画像と対象属性のリストが与えられた場合,画像自体の勾配降下の1ステップで対応する表現をアブレーションすることができる。
我々の実験は、LMMが保護属性に関連するテキストを生成することの妥当性を最小化できるだけでなく、感情を改善し、単に合成データを使ってアブレーションを知らせることさえできることを示した。
論文 参考訳（メタデータ） (2024-11-15T20:06:09Z) - GradBias: Unveiling Word Influence on Bias in Text-to-Image Generative Models [75.04426753720553]
開集合におけるバイアスを特定し,定量化し,説明するための枠組みを提案する。
このパイプラインはLarge Language Model (LLM)を活用して、一連のキャプションから始まるバイアスを提案する。
このフレームワークには、OpenBiasとGradBiasの2つのバリエーションがあります。
論文 参考訳（メタデータ） (2024-08-29T16:51:07Z) - Evaluating Model Bias Requires Characterizing its Mistakes [19.777130236160712]
スキューサイズ(SkewSize)は、モデルの予測における誤りからバイアスを捉える、原則付きフレキシブルなメトリクスである。
マルチクラスの設定で使用したり、生成モデルのオープンな語彙設定に一般化することができる。
合成データで訓練された標準的な視覚モデル、ImageNetで訓練された視覚モデル、BLIP-2ファミリーの大規模視覚言語モデルなどである。
論文 参考訳（メタデータ） (2024-07-15T11:46:21Z) - Quantifying Bias in Text-to-Image Generative Models [49.60774626839712]
テキスト・トゥ・イメージ(T2I)モデルにおけるバイアスは不公平な社会的表現を伝播させ、アイデアを積極的にマーケティングしたり、議論の的となっている議題を推進したりするのに用いられる。
既存のT2Iモデルバイアス評価手法は、社会的バイアスのみに焦点を当てる。
本稿では,T2I生成モデルにおける一般バイアスの定量化手法を提案する。
論文 参考訳（メタデータ） (2023-12-20T14:26:54Z) - IBADR: an Iterative Bias-Aware Dataset Refinement Framework for
Debiasing NLU models [52.03761198830643]
IBADR(Iterative Bias-Aware dataset Refinement framework)を提案する。
まず、プール内のサンプルのバイアス度を定量化するために浅いモデルを訓練する。
次に、各サンプルにバイアス度を表すバイアス指標をペアにして、これらの拡張サンプルを使用してサンプルジェネレータを訓練する。
このようにして、このジェネレータは、バイアスインジケータとサンプルの対応関係を効果的に学習することができる。
論文 参考訳（メタデータ） (2023-11-01T04:50:38Z) - Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。
偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
論文 参考訳（メタデータ） (2023-01-31T20:09:33Z) - Reducing the Vision and Language Bias for Temporal Sentence Grounding [22.571577672704716]
本稿では,視覚と言語の両方において負のバイアスをフィルタし,除去するためのD-TSGモデルを提案する。
3つのベンチマークデータセット上で最先端の性能を達成することで、その効果を実証する。
論文 参考訳（メタデータ） (2022-07-27T11:18:45Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳（メタデータ） (2021-12-20T14:47:32Z) - Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。
まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。
第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
論文 参考訳（メタデータ） (2020-05-10T17:56:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。