論文の概要: Latent Directions: A Simple Pathway to Bias Mitigation in Generative AI
- arxiv url: http://arxiv.org/abs/2406.06352v1
- Date: Mon, 10 Jun 2024 15:13:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 13:38:29.262568
- Title: Latent Directions: A Simple Pathway to Bias Mitigation in Generative AI
- Title(参考訳): 潜在方向: ジェネレーティブAIにおけるバイアス軽減への簡単な道
- Authors: Carolina Lopez Olmos, Alexandros Neophytou, Sunando Sengupta, Dim P. Papadopoulos,
- Abstract要約: 生成的AIにおけるバイアスの緩和、特にテキスト・ツー・イメージのモデルは、社会にその影響が拡大していることを考えると、非常に重要である。
本研究は,潜在空間の方向を学習することで,多種多様な包摂的合成画像を実現するための新しいアプローチを提案する。
これらの学習された遅延方向を線形に組み合わせて、新しい緩和を導入し、望めばテキスト埋め込み調整と統合することができる。
- 参考スコア(独自算出の注目度): 45.54709270833219
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mitigating biases in generative AI and, particularly in text-to-image models, is of high importance given their growing implications in society. The biased datasets used for training pose challenges in ensuring the responsible development of these models, and mitigation through hard prompting or embedding alteration, are the most common present solutions. Our work introduces a novel approach to achieve diverse and inclusive synthetic images by learning a direction in the latent space and solely modifying the initial Gaussian noise provided for the diffusion process. Maintaining a neutral prompt and untouched embeddings, this approach successfully adapts to diverse debiasing scenarios, such as geographical biases. Moreover, our work proves it is possible to linearly combine these learned latent directions to introduce new mitigations, and if desired, integrate it with text embedding adjustments. Furthermore, text-to-image models lack transparency for assessing bias in outputs, unless visually inspected. Thus, we provide a tool to empower developers to select their desired concepts to mitigate. The project page with code is available online.
- Abstract(参考訳): 生成的AIにおけるバイアスの緩和、特にテキスト・ツー・イメージのモデルは、社会にその影響が拡大していることを考えると、非常に重要である。
トレーニングに使用されるバイアス付きデータセットは、これらのモデルの責任ある開発を保証する上での課題を生じさせ、ハードプロンプトや埋め込み変更による緩和が、現在最も一般的なソリューションである。
本研究は,拡散過程に提供されるガウスノイズのみを修正し,潜伏空間の方向を学習することにより,多様な包摂的合成画像を実現するための新しいアプローチを提案する。
中立的なプロンプトと非タッチの埋め込みを維持しながら、このアプローチは地理的バイアスのような多様な偏見のシナリオにうまく適応する。
さらに,本研究は,これらの学習された遅延方向を線形に組み合わせて,新たな軽減策を導入し,所望のテキスト埋め込み調整と統合できることを実証する。
さらに、テキスト・ツー・イメージのモデルは、視覚的に検査されない限り、出力のバイアスを評価するための透明性を欠いている。
ですから私たちは,開発者が望むコンセプトを選択できるようにするためのツールを提供しています。
コード付きのプロジェクトページはオンラインで公開されている。
関連論文リスト
- Blind Inverse Problem Solving Made Easy by Text-to-Image Latent Diffusion [95.91087143020644]
本稿では,大規模テキスト・画像拡散モデルを用いて視覚的逆問題に対処する学習自由フレームワークであるLADiBIを提案する。
自然言語のプロンプトを活用することで、LADiBIはターゲット画像と演算子の両方の事前モデルを共同でモデル化し、さまざまなタスクに柔軟な適応を可能にする。
実験の結果,LADiBIは線形および非線形の両問題を含む幅広い画像復元タスクを解くことができることがわかった。
論文 参考訳(メタデータ) (2024-11-30T18:55:01Z) - Training-free Composite Scene Generation for Layout-to-Image Synthesis [29.186425845897947]
本稿では,拡散条件下での対角的意味交叉を克服するために,新しい学習自由アプローチを提案する。
本稿では,(1)トークン競合を解消し,正確な概念合成を保証するためのトークン間制約,2)画素間関係を改善する自己注意制約,という2つの革新的な制約を提案する。
本評価では,拡散過程の導出にレイアウト情報を活用することで,忠実度と複雑さを向上したコンテンツリッチな画像を生成することの有効性を確認した。
論文 参考訳(メタデータ) (2024-07-18T15:48:07Z) - Debiasing Multimodal Large Language Models [61.6896704217147]
LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。
本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。
これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
論文 参考訳(メタデータ) (2024-03-08T12:35:07Z) - Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。
偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
論文 参考訳(メタデータ) (2023-01-31T20:09:33Z) - Proactive Pseudo-Intervention: Causally Informed Contrastive Learning
For Interpretable Vision Models [103.64435911083432]
PPI(Proactive Pseudo-Intervention)と呼ばれる新しい対照的な学習戦略を提案する。
PPIは、因果関係のない画像の特徴を保護するために積極的に介入する。
また,重要な画像画素を識別するための,因果的に通知された新たなサリエンスマッピングモジュールを考案し,モデル解釈の容易性を示す。
論文 参考訳(メタデータ) (2020-12-06T20:30:26Z) - Encoding Robustness to Image Style via Adversarial Feature Perturbations [72.81911076841408]
我々は、画像画素ではなく特徴統計を直接摂動することで、頑健なモデルを生成することで、敵の訓練に適応する。
提案手法であるAdvBN(Adversarial Batch Normalization)は,トレーニング中に最悪の機能摂動を発生させる単一ネットワーク層である。
論文 参考訳(メタデータ) (2020-09-18T17:52:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。