論文の概要: FairRAG: Fair Human Generation via Fair Retrieval Augmentation
- arxiv url: http://arxiv.org/abs/2403.19964v1
- Date: Fri, 29 Mar 2024 03:56:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 16:34:41.916257
- Title: FairRAG: Fair Human Generation via Fair Retrieval Augmentation
- Title（参考訳）: FairRAG:フェアリトリーバル拡張によるフェアヒューマンジェネレーション
- Authors: Robik Shrestha, Yang Zou, Qiuyu Chen, Zhiheng Li, Yusheng Xie, Siqi Deng,
- Abstract要約: 本稿では,Fair Retrieval Augmented Generation (FairRAG)について紹介する。FairRAGは,外部画像データベースから取得した参照画像に事前学習した生成モデルを条件付けし,人間の生成における公平性を改善するためのフレームワークである。
公平性を高めるために、FairRAGは単純なyet- Effective debiasing戦略を適用し、生成過程において多様な人口集団の画像を提供する。
- 参考スコア（独自算出の注目度）: 27.069276012884398
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing text-to-image generative models reflect or even amplify societal biases ingrained in their training data. This is especially concerning for human image generation where models are biased against certain demographic groups. Existing attempts to rectify this issue are hindered by the inherent limitations of the pre-trained models and fail to substantially improve demographic diversity. In this work, we introduce Fair Retrieval Augmented Generation (FairRAG), a novel framework that conditions pre-trained generative models on reference images retrieved from an external image database to improve fairness in human generation. FairRAG enables conditioning through a lightweight linear module that projects reference images into the textual space. To enhance fairness, FairRAG applies simple-yet-effective debiasing strategies, providing images from diverse demographic groups during the generative process. Extensive experiments demonstrate that FairRAG outperforms existing methods in terms of demographic diversity, image-text alignment, and image fidelity while incurring minimal computational overhead during inference.
- Abstract（参考訳）: 既存のテキスト・画像生成モデルは、トレーニングデータに内在する社会的バイアスを反映または増幅する。
これは、モデルが特定の人口集団に偏っている人間の画像生成に特に関係している。
この問題を解決するための既存の試みは、事前訓練されたモデルの固有の制限によって妨げられ、人口多様性を著しく改善することができない。
本研究では,Fair Retrieval Augmented Generation (FairRAG)について紹介する。FairRAGは,外部画像データベースから取得した参照画像に対して,事前学習した生成モデルを条件付けし,人間の生成における公平性を改善するフレームワークである。
FairRAGは、参照画像をテキスト空間に投影する軽量リニアモジュールによる条件付けを可能にする。
公平性を高めるために、FairRAGは単純なyet- Effective debiasing戦略を適用し、生成過程において多様な人口集団の画像を提供する。
大規模な実験により、FairRAGは人口多様性、画像テキストアライメント、画像の忠実度において既存の手法よりも優れており、推論中に最小の計算オーバーヘッドが生じることが示された。
関連論文リスト
- YaART: Yet Another ART Rendering Technology [119.09155882164573]
そこで本研究では,ヒトの嗜好に適合する新しい生産段階のテキスト・ツー・イメージ拡散モデルYaARTを紹介した。
これらの選択がトレーニングプロセスの効率と生成された画像の品質にどのように影響するかを分析する。
高品質な画像の小さなデータセットでトレーニングされたモデルが、より大きなデータセットでトレーニングされたモデルとうまく競合できることを実証する。
論文 参考訳（メタデータ） (2024-04-08T16:51:19Z) - Benchmarking the Fairness of Image Upsampling Methods [29.01986714656294]
本研究では,条件付き生成モデルの性能と公平性を示す指標のセットを開発する。
私たちは彼らの不均衡と多様性をベンチマークします。
この研究の一環として、データセットのサブセットは、一般的な顔の人種分布を再現する。
論文 参考訳（メタデータ） (2024-01-24T16:13:26Z) - Fair Text-to-Image Diffusion via Fair Mapping [32.02815667307623]
本稿では,事前学習したテキスト・画像拡散モデルを修正する,フレキシブルでモデルに依存しない,軽量なアプローチを提案する。
暗黙的言語バイアスの問題を効果的に解決することにより、より公平で多様な画像出力を生成する。
論文 参考訳（メタデータ） (2023-11-29T15:02:01Z) - Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional
Image Synthesis [62.07413805483241]
Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。
塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
論文 参考訳（メタデータ） (2023-09-30T02:03:22Z) - DeAR: Debiasing Vision-Language Models with Additive Residuals [5.672132510411465]
大規模な事前学習型視覚言語モデル(VLM)は、リッチで適応可能な画像とテキスト表現を提供する。
これらのモデルは、トレーニングデータ中の様々なアイデンティティ群が歪んだ分布のため、社会的バイアスに悩まされる。
本稿では,元の表現をオフセットする付加的残像表現を学習する新しいデバイアス法であるDeARを提案する。
論文 参考訳（メタデータ） (2023-03-18T14:57:43Z) - Fair Diffusion: Instructing Text-to-Image Generation Models on Fairness [15.059419033330126]
生成テキストから画像への展開後のバイアスを軽減するために,Fair Diffusionと呼ばれる新しい手法を提案する。
具体的には、人間の指示に基づいて、任意の方向にバイアスをシフトさせることで、例えば、アイデンティティグループに対して任意に新しい比率が得られることを示す。
この制御を導入することで、データフィルタリングや追加のトレーニングを必要とせず、公平さで生成イメージモデルを指示することができる。
論文 参考訳（メタデータ） (2023-02-07T18:25:28Z) - Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。
偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
論文 参考訳（メタデータ） (2023-01-31T20:09:33Z) - Unravelling the Effect of Image Distortions for Biased Prediction of
Pre-trained Face Recognition Models [86.79402670904338]
画像歪みの存在下での4つの最先端深層顔認識モデルの性能評価を行った。
我々は、画像歪みが、異なるサブグループ間でのモデルの性能ギャップと関係していることを観察した。
論文 参考訳（メタデータ） (2021-08-14T16:49:05Z) - More Photos are All You Need: Semi-Supervised Learning for Fine-Grained
Sketch Based Image Retrieval [112.1756171062067]
クロスモーダル検索のための新しい半監視フレームワークについて紹介する。
私たちの設計の中心には、連続したフォトツースケッチ生成モデルがあります。
また,不適切な生成を誘導する判別器誘導機構も導入する。
論文 参考訳（メタデータ） (2021-03-25T17:27:08Z) - Improving the Fairness of Deep Generative Models without Retraining [41.6580482370894]
GAN(Generative Adversarial Networks)は、観測データの基盤となる分布を学習し、顔合成を進める。
高品質な生成顔にもかかわらず、一部の少数グループはバイアス画像生成プロセスのためにトレーニングされたモデルから生成されることは稀である。
アウトプット顔面特性を再訓練することなくバランスをとるための解釈可能なベースライン法を提案する。
論文 参考訳（メタデータ） (2020-12-09T03:20:41Z) - Inclusive GAN: Improving Data and Minority Coverage in Generative Models [101.67587566218928]
データカバレッジの1つとしてマイノリティー・インクルージョンの問題を定式化する。
次に、再構成世代と敵対的トレーニングを調和させることにより、データカバレッジを改善することを提案する。
我々は、モデルが確実に含めるべきマイノリティサブグループを明示的に制御できる拡張を開発する。
論文 参考訳（メタデータ） (2020-04-07T13:31:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。