論文の概要: AITTI: Learning Adaptive Inclusive Token for Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2406.12805v1
• Date: Tue, 18 Jun 2024 17:22:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 17:49:20.186271
• Title: AITTI: Learning Adaptive Inclusive Token for Text-to-Image Generation
• Title（参考訳）: AITTI:テキスト・画像生成のための適応型包括学習
• Authors: Xinyu Hou, Xiaoming Li, Chen Change Loy,
• Abstract要約: 我々は適応的包摂トークンを学習し、最終的な生成出力の属性分布をシフトする。 本手法では,明示的な属性仕様やバイアス分布の事前知識は必要としない。 提案手法は,特定の属性を要求されたり,生成の方向を編集するモデルに匹敵する性能を実現する。
• 参考スコア（独自算出の注目度）: 53.65701943405546
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the high-quality results of text-to-image generation, stereotypical biases have been spotted in their generated contents, compromising the fairness of generative models. In this work, we propose to learn adaptive inclusive tokens to shift the attribute distribution of the final generative outputs. Unlike existing de-biasing approaches, our method requires neither explicit attribute specification nor prior knowledge of the bias distribution. Specifically, the core of our method is a lightweight adaptive mapping network, which can customize the inclusive tokens for the concepts to be de-biased, making the tokens generalizable to unseen concepts regardless of their original bias distributions. This is achieved by tuning the adaptive mapping network with a handful of balanced and inclusive samples using an anchor loss. Experimental results demonstrate that our method outperforms previous bias mitigation methods without attribute specification while preserving the alignment between generative results and text descriptions. Moreover, our method achieves comparable performance to models that require specific attributes or editing directions for generation. Extensive experiments showcase the effectiveness of our adaptive inclusive tokens in mitigating stereotypical bias in text-to-image generation. The code will be available at https://github.com/itsmag11/AITTI.
• Abstract（参考訳）: テキスト・ツー・イメージ生成の高品質な結果にもかかわらず、その生成内容にステレオタイプバイアスが見られ、生成モデルの公正さを損なう。 本研究では,最終的な生成出力の属性分布をシフトするために適応的包摂的トークンを学習することを提案する。 既存の非バイアス化手法とは異なり、本手法では明示的な属性仕様やバイアス分布の事前知識は必要としない。 具体的には、本手法のコアとなるのは軽量適応型マッピングネットワークであり、デバイアスの概念に対して包括的トークンをカスタマイズすることで、元のバイアス分布によらず、未確認の概念を一般化することができる。 これは、アダプティブマッピングネットワークをアンカーロスを使用して、少数のバランスのとれた、包括的なサンプルでチューニングすることで達成される。 実験結果から,提案手法は,生成結果とテキスト記述との整合性を保ちつつ,属性仕様を使わずに従来のバイアス軽減手法よりも優れていることが示された。 さらに,本手法は,特定の属性や編集方向を必要とするモデルに匹敵する性能を実現する。 大規模実験では,テキスト・画像生成におけるステレオタイプバイアスの緩和に適応的包括トークンの有効性が示された。 コードはhttps://github.com/itsmag11/AITTIで入手できる。

関連論文リスト

• Latent Directions: A Simple Pathway to Bias Mitigation in Generative AI [45.54709270833219]
  生成的AIにおけるバイアスの緩和、特にテキスト・ツー・イメージのモデルは、社会にその影響が拡大していることを考えると、非常に重要である。 本研究は,潜在空間の方向を学習することで,多種多様な包摂的合成画像を実現するための新しいアプローチを提案する。 これらの学習された遅延方向を線形に組み合わせて、新しい緩和を導入し、望めばテキスト埋め込み調整と統合することができる。
  論文  参考訳（メタデータ） (2024-06-10T15:13:51Z)
• Mitigating Bias Using Model-Agnostic Data Attribution [2.9868610316099335]
  機械学習モデルにおけるバイアスの緩和は、公平性と公平性を保証するための重要な取り組みである。 本稿では, 画素画像の属性を利用して, バイアス属性を含む画像の領域を特定し, 正規化することで, バイアスに対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-08T13:00:56Z)
• Distributionally Generative Augmentation for Fair Facial Attribute Classification [69.97710556164698]
  Facial Attribute Classification (FAC) は広く応用されている。 従来の手法で訓練されたFACモデルは、様々なデータサブポピュレーションにまたがる精度の不整合を示すことによって不公平である可能性がある。 本研究は,付加アノテーションなしでバイアスデータ上で公正なFACモデルをトレーニングするための,新しい世代ベースの2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-11T10:50:53Z)
• Improving Fairness using Vision-Language Driven Image Augmentation [60.428157003498995]
  公平性は、特に顔領域において、ディープラーニングの識別モデルを訓練する際に重要である。 モデルは、特定の特性(年齢や肌の色など)と無関係な属性(下流タスク)を関連付ける傾向がある 本稿では,これらの相関を緩和し,公平性を向上する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-02T19:51:10Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Uncovering the Disentanglement Capability in Text-to-Image Diffusion Models [60.63556257324894]
  画像生成モデルの重要な特性は、異なる属性をアンタングルする能力である。 本稿では,2つのテキスト埋め込みの混合重みをスタイルマッチングとコンテンツ保存に最適化した,シンプルで軽量な画像編集アルゴリズムを提案する。 実験により,提案手法は拡散モデルに基づく画像編集アルゴリズムよりも優れた性能で,幅広い属性を修正可能であることが示された。
  論文  参考訳（メタデータ） (2022-12-16T19:58:52Z)
• Modular and On-demand Bias Mitigation with Attribute-Removal Subnetworks [10.748627178113418]
  本稿では, 単独で高度に疎細なデビアシングワークからなる, 新たなモジュラーバイアス緩和手法を提案する。 我々は、性別、人種、年齢の3つの分類タスクを保護属性として実験する。
  論文  参考訳（メタデータ） (2022-05-30T15:21:25Z)
• Self-Conditioned Generative Adversarial Networks for Image Editing [61.50205580051405]
  Generative Adversarial Networks (GAN) はバイアスの影響を受けやすい。 我々は、このバイアスが公平性だけでなく、分布のコアから逸脱する際の潜在トラバース編集手法の崩壊に重要な役割を果たしていると論じる。
  論文  参考訳（メタデータ） (2022-02-08T18:08:24Z)
• Matched sample selection with GANs for mitigating attribute confounding [30.488267816304177]
  保護属性間の属性分布のバランスのとれたフルデータセットから画像のサブセットを選択するマッチングアプローチを提案する。 私たちのマッチングアプローチでは、セマンティック属性を保存する方法で、まず実際の画像を生成ネットワークの潜在空間に投影します。 次に、選択された保護属性にまたがるこの潜在空間で敵の一致を見つけ、セマンティクスと知覚属性が保護属性間でバランスをとるデータセットを生成する。
  論文  参考訳（メタデータ） (2021-03-24T19:18:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。