論文の概要: VersusDebias: Universal Zero-Shot Debiasing for Text-to-Image Models via SLM-Based Prompt Engineering and Generative Adversary
- arxiv url: http://arxiv.org/abs/2407.19524v3
- Date: Fri, 16 Aug 2024 06:24:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 17:49:17.943322
- Title: VersusDebias: Universal Zero-Shot Debiasing for Text-to-Image Models via SLM-Based Prompt Engineering and Generative Adversary
- Title(参考訳): VersusDebias: SLMベースのプロンプトエンジニアリングとジェネレーティブ・アドバイザリーによるテキスト・ツー・イメージモデルのためのユニバーサルゼロショットデバイアス
- Authors: Hanjun Luo, Ziye Deng, Haoyu Huang, Xuecheng Liu, Ruizhe Chen, Zuozhu Liu,
- Abstract要約: 本稿では,任意のテキスト・トゥ・イメージ(T2I)モデルにおけるバイアスに対する新奇で普遍的なデバイアスフレームワークであるVersusDebiasを紹介する。
自己適応モジュールは、プロセス後の幻覚と複数の属性を同時にデバイアスする特別な属性配列を生成する。
ゼロショットと少数ショットの両方のシナリオでは、VersusDebiasは既存のメソッドよりも優れており、例外的なユーティリティを示している。
- 参考スコア(独自算出の注目度): 8.24274551090375
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rapid development of Text-to-Image (T2I) models, biases in human image generation against demographic social groups become a significant concern, impacting fairness and ethical standards in AI. Some researchers propose their methods to tackle with the issue. However, existing methods are designed for specific models with fixed prompts, limiting their adaptability to the fast-evolving models and diverse practical scenarios. Moreover, they neglect the impact of hallucinations, leading to discrepancies between expected and actual results. To address these issues, we introduce VersusDebias, a novel and universal debiasing framework for biases in arbitrary T2I models, consisting of an array generation (AG) module and an image generation (IG) module. The self-adaptive AG module generates specialized attribute arrays to post-process hallucinations and debias multiple attributes simultaneously. The IG module employs a small language model to modify prompts according to the arrays and drives the T2I model to generate debiased images, enabling zero-shot debiasing. Extensive experiments demonstrate VersusDebias's capability to debias any models across gender, race, and age simultaneously. In both zero-shot and few-shot scenarios, VersusDebias outperforms existing methods, showcasing its exceptional utility. Our work is accessible at https://github.com/VersusDebias/VersusDebias to ensure reproducibility and facilitate further research.
- Abstract(参考訳): テキスト・ツー・イメージ・モデル(T2I)の急速な発展に伴い、人口統計群に対する人間の画像生成のバイアスが重要な関心事となり、AIの公正性と倫理的基準に影響を及ぼす。
この問題に対処する方法を提案する研究者もいる。
しかし、既存の手法は固定的なプロンプトを持つ特定のモデルのために設計されており、高速進化モデルや多様な実践シナリオへの適応性を制限している。
さらに、幻覚の影響を無視し、期待結果と実際の結果の相違をもたらす。
これらの問題に対処するため、我々は任意のT2Iモデルにおいて、配列生成(AG)モジュールと画像生成(IG)モジュールからなるバイアスの新しい普遍的デバイアスフレームワークであるVersusDebiasを紹介した。
自己適応AGモジュールは、プロセス後の幻覚と複数の属性を同時にデバイアスする特別な属性配列を生成する。
IGモジュールは、配列に従ってプロンプトを変更するために小さな言語モデルを使用し、T2Iモデルを駆動してデバイアス画像を生成し、ゼロショットデバイアスを可能にする。
大規模な実験は、VersusDebiasが性、人種、年齢のあらゆるモデルを同時に脱バイアスする能力を示している。
ゼロショットと少数ショットの両方のシナリオでは、VersusDebiasは既存のメソッドよりも優れており、例外的なユーティリティを示している。
私たちの仕事は、再現性を確保し、さらなる研究を促進するためにhttps://github.com/VersusDebias/VersusDebiasでアクセスできます。
関連論文リスト
- Evaluating Model Bias Requires Characterizing its Mistakes [19.777130236160712]
スキューサイズ(SkewSize)は、モデルの予測における誤りからバイアスを捉える、原則付きフレキシブルなメトリクスである。
マルチクラスの設定で使用したり、生成モデルのオープンな語彙設定に一般化することができる。
合成データで訓練された標準的な視覚モデル、ImageNetで訓練された視覚モデル、BLIP-2ファミリーの大規模視覚言語モデルなどである。
論文 参考訳(メタデータ) (2024-07-15T11:46:21Z) - Severity Controlled Text-to-Image Generative Model Bias Manipulation [49.60774626839712]
テキスト・ツー・イメージ(T2I)生成モデルは,特にパブリックドメインにおいて広く普及している。
まず,組込み言語モデルによるモデルバイアスの動的かつ効率的な活用の可能性を明らかにする。
我々は,T2Iモデルの潜在的な操作可能性を明らかにするために,興味深い定性的,定量的な結果を示す。
論文 参考訳(メタデータ) (2024-04-03T07:33:30Z) - Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線
本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。
提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
論文 参考訳(メタデータ) (2024-02-15T18:59:18Z) - Self-Debiasing Large Language Models: Zero-Shot Recognition and
Reduction of Stereotypes [73.12947922129261]
ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。
自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。
この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
論文 参考訳(メタデータ) (2024-02-03T01:40:11Z) - Quantifying Bias in Text-to-Image Generative Models [49.60774626839712]
テキスト・トゥ・イメージ(T2I)モデルにおけるバイアスは不公平な社会的表現を伝播させ、アイデアを積極的にマーケティングしたり、議論の的となっている議題を推進したりするのに用いられる。
既存のT2Iモデルバイアス評価手法は、社会的バイアスのみに焦点を当てる。
本稿では,T2I生成モデルにおける一般バイアスの定量化手法を提案する。
論文 参考訳(メタデータ) (2023-12-20T14:26:54Z) - Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。
偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
論文 参考訳(メタデータ) (2023-01-31T20:09:33Z) - Generative Visual Prompt: Unifying Distributional Control of Pre-Trained
Generative Models [77.47505141269035]
Generative Visual Prompt (PromptGen) は、事前訓練された生成モデルの分散制御のためのフレームワークである。
PromptGenはエネルギーベースモデル(EBM)を近似し、フィードフォワード方式で画像をサンプリングする。
コードはhttps://github.com/ChenWu98/Generative-Visual-Prompt.comで入手できる。
論文 参考訳(メタデータ) (2022-09-14T22:55:18Z) - Reducing the Vision and Language Bias for Temporal Sentence Grounding [22.571577672704716]
本稿では,視覚と言語の両方において負のバイアスをフィルタし,除去するためのD-TSGモデルを提案する。
3つのベンチマークデータセット上で最先端の性能を達成することで、その効果を実証する。
論文 参考訳(メタデータ) (2022-07-27T11:18:45Z) - Exposing Length Divergence Bias of Textual Matching Models [21.848338643614316]
テキストマッチング(TM)モデルの長偏差バイアスについて検討する。
このバイアスは、既存のTMデータセットのラベルバイアスと、表面情報に対するTMモデルの感度の2つの部分に由来する。
TMモデルの長偏差バイアスを軽減するために,偏差のないトレーニングデータを用いた現実的な対角トレーニング手法を提案する。
論文 参考訳(メタデータ) (2021-09-06T13:12:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。