論文の概要: FairFlow: Demystifying and Mitigating Stereotype Bias in Text-to-Image Diffusion Transformers
- arxiv url: http://arxiv.org/abs/2607.03180v1
- Date: Fri, 03 Jul 2026 10:37:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.545423
- Title: FairFlow: Demystifying and Mitigating Stereotype Bias in Text-to-Image Diffusion Transformers
- Title（参考訳）: FairFlow: テキスト-画像拡散変換器におけるステレオタイプバイアスの軽減と緩和
- Abstract要約: マルチモーダル拡散変換器 (MM-DiT) が現代のテキスト・画像生成システムのバックボーンとして普及している。
それらは致命的なアライメントの脆弱性を示し、良心的なプロンプトの下でも、系統的に深刻なステレオタイプバイアスを示す。
本稿では,本質的な機構誘導型緩和フレームワークであるFairFlowを提案する。
- 参考スコア（独自算出の注目度）: 30.011273662879542
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal diffusion transformers (MM-DiTs) have emerged as the prevalent backbone for modern text-to-image generation systems. However, they exhibit critical alignment vulnerabilities, systematically manifesting severe stereotype biases even under benign prompts. This poses a significant risk of algorithmic discrimination in deployed systems. Since most existing mitigation strategies were tailored for legacy U-Net architectures, the precise remediation of these vulnerabilities in MM-DiTs remains a critical open challenge. In this work, we first investigate the root cause of this vulnerability via mechanistic analysis. We reveal that bias representations in MM-DiTs are not uniformly distributed across depth, but are mediated by a sparse set of layers functioning as internal semantic binding hubs. These hubs exhibit a stage-wise propagation driving bias manifestation: early hubs establish the structural templates susceptible to bias, middle hubs actively extract core stereotypical concepts from textual conditioning, and late hubs globally solidify these biases through visual self-attention. Leveraging these architectural insights, we propose FairFlow, an intrinsic, mechanism-guided mitigation framework. FairFlow acts as an internal regulator by employing sparse steering: it learns attribute-specific fair directions and injects them exclusively at the identified semantic hubs within a constrained inference window. Evaluations on FLUX.1-dev and Stable Diffusion~3 demonstrate that FairFlow effectively neutralizes these stereotypical vulnerabilities across gender, race, and intersectional settings, achieving an optimal fairness-fidelity balance. With near-zero inference overhead and robustness to complex prompts, FairFlow provides a lightweight and practical bias mitigation for large-scale deployed MM-DiT systems. Code and datasets will be publicly released upon acceptance.
- Abstract（参考訳）: マルチモーダル拡散変換器 (MM-DiT) が現代のテキスト・画像生成システムのバックボーンとして普及している。
しかし、それらは致命的なアライメントの脆弱性を示し、良心的なプロンプトの下でも重篤なステレオタイプバイアスを系統的に示す。
これは、デプロイされたシステムにおいて、アルゴリズムによる差別の重大なリスクをもたらす。
既存のほとんどの緩和戦略はレガシーなU-Netアーキテクチャ向けに調整されているため、MM-DiTにおけるこれらの脆弱性の正確な修復は、依然として重要なオープンチャレンジである。
本研究では,この脆弱性の根本原因を機械的解析により調査する。
MM-DiTのバイアス表現は深さに均一に分散するのではなく,内部セマンティックバインディングハブとして機能するスパース層によって媒介される。
初期ハブはバイアスに影響を受けやすい構造的テンプレートを確立し、中ハブはテキストの条件付けから中核的なステレオタイプの概念を積極的に抽出し、後期ハブは視覚的自己認識を通じてこれらのバイアスをグローバルに固める。
このようなアーキテクチャ的洞察を生かして、本質的でメカニズム指向の緩和フレームワークであるFairFlowを提案する。
FairFlowはスパースステアリング(sparse steering)を使用して内部レギュレータとして機能する。属性固有の公正な方向を学習し、制約付き推論ウィンドウ内の識別されたセマンティックハブにのみ注入する。
FLUX.1-devとStable Diffusion~3の評価は、FairFlowがこれらのステレオタイプ的脆弱性を、性別、人種、交差点設定で効果的に中和し、最適な公平性と忠実性のバランスを達成していることを示している。
FairFlowは、ほぼゼロに近い推論オーバーヘッドと複雑なプロンプトに対する堅牢性によって、大規模にデプロイされたMM-DiTシステムに対して、軽量で実用的なバイアス軽減を提供する。
コードとデータセットは受理時に公開される。
関連論文リスト
- Semantic Steering for Controllable Generation: Tuning-Free Concept Erasure in Multimodal Diffusion Transformers [22.773634194858037]
マルチモーダル拡散変換器 (MM-DiT) は, テキスト・画像生成性能が顕著であることを示す。
その強力な生成能力は、センシティブなコンテンツや不適切なコンテンツを生成する可能性があるため、重大な安全上の懸念も引き起こす。
モデルの内部表現を直接操作することで,概念を消去するためのチューニング不要な手法を提案する。
論文 参考訳（メタデータ） (2026-08-13T05:05:45Z) - FedVAR: Prototype-Aligned Federated Framework for Video Anomaly Recognition [3.940235853574397]
Federated Learningは、ビデオ異常認識のための有望な分散インテリジェンスパラダイムを提供する。
本稿では,ビデオ異常認識のための弱教師付きFLフレームワークであるFedvarを紹介する。
我々は、様々な非IIDデータ分割方式、見えない領域、新しい異常クラスの下で、挑戦的なベンチマークに関する広範な実験を行う。
その結果、Fedvarは最先端のフェデレーションベースラインを一貫して上回り、ビデオベースのCPSにおける分散インテリジェンスのための堅牢なフレームワークを確立した。
論文 参考訳（メタデータ） (2026-08-07T07:01:42Z) - UniNDM: A Unified Noise-driven Detection and Mitigation Framework Against Sexual Content in Text-to-Image Generation [90.0896070825457]
本稿では,拡散過程におけるノイズダイナミクスのレンズを通して,安全機構を再考する統合ノイズ駆動フレームワークを提案する。
我々の重要な洞察は、早期の予測ノイズは、正常な内容と性的な内容の間に固有の分離性を示すことである。
我々は,計算オーバーヘッドがほとんどなく,精度の高い軽量ノイズベース検出器を開発した。
論文 参考訳（メタデータ） (2026-07-18T14:03:39Z) - Dual-Branch Cross-Projection Debiasing through Diffusion-based Disentanglement [66.67463557274358]
バイアス付きデータセットに基づいてトレーニングされた基礎モデルは、しばしばターゲットラベルと非因果属性の間の急激な相関に依存する。
信頼誘導概念マイニング(CBCM:Confidence-guided Concept Mining)を導入し,属性アノテーションを使わずに信頼性の高いスプリアス属性を同定する。
本稿では,目標と突発的な表現を2つのブランチに分離するプロンプトチューニングフレームワークであるDual-branch Cross-projection Debiasing (DCD)を提案する。
論文 参考訳（メタデータ） (2026-06-23T05:28:47Z) - SMFormer: Empowering Self-supervised Stereo Matching via Foundation Models and Data Augmentation [55.67206878777881]
本稿では、VFM(Vision Foundation Model)とデータ拡張によって導かれる、より信頼性の高いセルフスーパービジョンを統合するフレームワークであるSMFormerを提案する。
SMFormerは、自己教師付きメソッド間での最先端(SOTA)のパフォーマンスを達成し、教師付きメソッドと同等に競合する。
論文 参考訳（メタデータ） (2026-04-11T13:56:41Z) - InjectFlow: Weak Guides Strong via Orthogonal Injection for Flow Matching [1.974921946982281]
フローマッチング (FM) は高忠実度視覚生成の先駆的アプローチとして浮上している。
FMモデルはデータセットバイアスに敏感であり、アウト・オブ・ディストリビューションやマイノリティ・クラスのサンプルを生成する際に深刻な意味劣化を引き起こす。
InjectFlowは、初期速度場中に意味論を注入することで、新しいトレーニング不要な手法である。
論文 参考訳（メタデータ） (2026-03-19T11:07:14Z) - Why Does the LLM Stop Computing: An Empirical Study of User-Reported Failures in Open-Source LLMs [50.075587392477935]
オープンソースのDeepSeek、Llama、Qwenのエコシステムから、705の現実世界の失敗に関する大規模な実証的研究を行った。
ホワイトボックスオーケストレーションは、モデルアルゴリズムの欠陥からデプロイメントスタックのシステム的脆弱性へと、信頼性のボトルネックを移動させます。
論文 参考訳（メタデータ） (2026-01-20T06:42:56Z) - FairViT-GAN: A Hybrid Vision Transformer with Adversarial Debiasing for Fair and Explainable Facial Beauty Prediction [0.0]
顔の美を予測するための新しいハイブリッドフレームワークである textbfFairViT-GAN を提案する。
本研究では,FairViT-GANが予測精度を向上し,textbf0.9230のピアソン相関を実現し,RMSEをtextbf0.2650に短縮することを示す。
対象者の分類精度がほぼランダムな確率(52.1%)に低下する傾向がみられた。
論文 参考訳（メタデータ） (2025-09-28T12:55:31Z) - Adaptive Concept Bottleneck for Foundation Models Under Distribution Shifts [33.677249894085186]
複雑で非解釈可能な基礎モデルを解釈可能な意思決定パイプラインに変換するための概念ボトルネックモデルの可能性を探る。
具体的には、このような解釈可能なCBMパイプラインを“野生”で”テスト時にデプロイすることに重点を置いています。
提案手法は,テストデータとの整合性を向上し,デプロイ後の精度を最大28%向上させる。
論文 参考訳（メタデータ） (2024-12-18T17:47:46Z) - Fair CoVariance Neural Networks [34.68621550644667]
本稿では,Fair CoVariance Neural Networks (FVNN) を提案する。
我々は,FVNNが類似のPCAアプローチよりも本質的に公平であることを証明する。
論文 参考訳（メタデータ） (2024-09-13T06:24:18Z) - The Double-Edged Sword of Implicit Bias: Generalization vs. Robustness
in ReLU Networks [64.12052498909105]
本稿では,ReLUネットワークにおける勾配流の暗黙的バイアスが一般化と対角的ロバスト性に与える影響について検討する。
2層ReLUネットワークでは、勾配流は一般化された解に偏りがあるが、敵の例には非常に弱い。
論文 参考訳（メタデータ） (2023-03-02T18:14:35Z) - GFlowOut: Dropout with Generative Flow Networks [76.59535235717631]
モンテカルロ・ドロップアウトは近似推論の比較的安価な方法として広く利用されている。
最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。
GFlowOutleveragesは、最近提案されたジェネレーティブフローネットワーク(GFlowNets)の確率的フレームワークを使用して、ドロップアウトマスク上の後部分布を学習する。
論文 参考訳（メタデータ） (2022-10-24T03:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。