論文の概要: Mitigating Bias in Large Vision-Language Models via Counterfactual Ensemble Decoding

• arxiv url: http://arxiv.org/abs/2608.21415v1
• Date: Wed, 12 Aug 2026 08:25:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 05:49:59.238804
• Title: Mitigating Bias in Large Vision-Language Models via Counterfactual Ensemble Decoding
• Title（参考訳）: 擬似アンサンブルデコーディングによる大規模視覚言語モデルにおけるバイアスの緩和
• Abstract要約: LVLM(Large Vision-Language Models)は、様々なタスクにおいて顕著なパフォーマンスを実現している。 彼らはしばしば、トレーニングデータから社会的偏見を継承し、異なる社会集団の肖像画を処理する際の偏見的な振る舞いをもたらす。 マルチグループの対実的視点を構築するための新しいフレームワークであるCED(Counterfactual Ensemble Decoding)を提案する。
• 参考スコア（独自算出の注目度）: 45.1503984011004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Vision-Language Models (LVLMs) have achieved remarkable performance across a wide range of tasks; however, they often inherit social biases from their training data, resulting in biased behavior when processing portraits from different social groups. Existing debiasing approaches typically compare token probabilities between the original and biased generations during decoding, but they are fundamentally limited by their reliance on a single, stereotyped viewpoint and fail to account for the diversity of social perspectives. Inspired by the social science principle that diversity fosters fairness, we propose Counterfactual Ensemble Decoding (CED), a novel framework that constructs multi-group counterfactual perspectives within the visual representation space and integrates them during decoding to promote equitable model behavior. CED first performs counterfactual steering in the visual space by identifying semantic directions associated with each social group and generating counterfactual representations along these directions, thereby offering diverse perspectives that disrupt stereotypical narratives. During decoding, CED locates the decoder layer exhibiting the greatest divergence among these perspectives and ensembles their token distributions using uncertainty-aware weights, prioritizing high-confidence tokens from different groups to yield a more balanced probability distribution that guides fairer generation. Extensive experiments on three social bias evaluation benchmarks demonstrate that \tool achieves substantial improvements over leading baselines, reducing bias by up to 47.97% across scenarios involving occupations, descriptors, and persona traits. Moreover, CED also preserves the core capabilities of the original model with minimal degradation.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、様々なタスクにおいて顕著なパフォーマンスを達成したが、トレーニングデータからしばしば社会的バイアスを受け継ぎ、異なる社会集団の肖像画を処理する際にバイアスのある振る舞いをもたらす。 既存のデバイアスングアプローチは典型的には、復号時に元の世代と偏った世代の間でトークンの確率を比較するが、それらは基本的に単一のステレオタイプ化された視点に依存しており、社会的視点の多様性を説明できない。 多様性が公正さを育む社会科学の原則に着想を得て、視覚表現空間内の多群対実的視点を構築し、デコーディング中にそれらを統合し、公平なモデル行動を促進する新しいフレームワークであるCED(Conteerfactual Ensemble Decoding)を提案する。 CEDはまず、各社会集団に関連する意味的方向を特定し、これらの方向に沿って反事実的表現を生成することにより、視覚空間における反事実的ステアリングを行い、ステレオタイプ的物語を妨害する多様な視点を提供する。 復号化中、CEDはこれらの観点で最大のばらつきを示すデコーダ層を見つけ出し、不確実性を認識した重みを使ってトークン分布をアンサンブルし、異なるグループからの高信頼トークンを優先順位付けし、より公平な生成を導くよりバランスのとれた確率分布を生成する。 3つの社会的バイアス評価ベンチマークの大規模な実験は、‘tool’が主要なベースラインよりも大幅な改善を達成し、職業、記述者、ペルソナの特徴を含むシナリオで最大47.97%のバイアスを減少させることを示した。 さらに、CEDはオリジナルのモデルのコア機能を最小限の劣化で保持する。

関連論文リスト

• HoloFair: Unified T2I Fairness Evaluation and Fair-GRPO Debiasing [20.795940054868854]
  既存の評価手法は1次元バイアスのみに対処する。 多次元的偏見分析のための総合的なベンチマークフレームワークであるHoloFairを紹介する。 また,強化学習に基づくデバイアス法であるFair-GRPOについても紹介する。
  論文  参考訳（メタデータ） (2026-05-23T17:52:07Z)
• Interpretable Debiasing of Vision-Language Models for Social Fairness [55.85977929985967]
  本稿では,視覚・言語モデルに社会的属性ニューロンを局在させる,解釈可能なモデルに依存しないバイアス緩和フレームワークDeBiasLensを紹介する。 社会属性ラベルを含まない顔画像やキャプションデータセットでSAEを訓練し、特定の人口動態に高い応答性を持つニューロンを明らかにする。 我々の研究は、未来の監査ツールの基礎を築き、新興の現実世界のAIシステムにおける社会的公正性を優先します。
  論文  参考訳（メタデータ） (2026-02-27T13:37:11Z)
• Evaluating Social Bias in RAG Systems: When External Context Helps and Reasoning Hurts [7.344577590113121]
  大規模言語モデル(LLM)に固有の社会的バイアスは、かなりの公平さを懸念する。 この研究は、RAGの社会的バイアスの影響を評価し、理解することに焦点を当てている。
  論文  参考訳（メタデータ） (2026-02-10T06:27:56Z)
• Fair Deepfake Detectors Can Generalize [51.21167546843708]
  共同設立者(データ分散とモデルキャパシティ)の制御により,公正な介入による一般化が向上することを示す。 この知見を応用して, 逆正当性重み付けとサブグループワイド特徴正規化を併用し, 新たなアライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・インセンティブ・インターベンション・インベンション・インテクション(DAID)を提案する。 DAIDは、いくつかの最先端技術と比較して、公平性と一般化の両方において一貫して優れた性能を達成する
  論文  参考訳（メタデータ） (2025-07-03T14:10:02Z)
• Perspectives in Play: A Multi-Perspective Approach for More Inclusive NLP Systems [3.011820285006942]
  本研究では,視点認識モデルの開発を促進するために,ソフトラベルを用いた新しい多視点アプローチを提案する。 我々は、ヘイトスピーチ、皮肉、虐待言語、スタンス検出など、多様な主観的テキスト分類タスクの分析を行う。 結果は、Jensen-Shannon Divergence (JSD) が測定したように、マルチパースペクティブアプローチが人間のラベル分布をよりよく近似していることを示している。 本手法は,本文の主観性に起因して,皮肉や姿勢検出などの課題に対する信頼度を低下させる。
  論文  参考訳（メタデータ） (2025-06-25T07:53:36Z)
• Biases Propagate in Encoder-based Vision-Language Models: A Systematic Analysis From Intrinsic Measures to Zero-shot Retrieval Outcomes [14.331322509462419]
  社会集団バイアスは、基礎エンコーダに基づく視覚言語モデル(VLM)に固有のものであり、下流タスクのバイアスに現れる。 ゼロショットテキスト・トゥ・イメージ(TTI)とイメージ・トゥ・テキスト(ITT)検索におけるバイアスの度合いと、表現空間における固有バイアスの度合いを関連付けることにより、この伝播を測定するための制御された枠組みを導入する。 その結果,内因性バイアスと外因性バイアスの間に有意な相関がみられ,平均$rho$ = 0.83$pm$ 0.10が得られた。 注目すべきは、より大きな/ベターパフォーマンスモデルがより大きなバイアス伝播を示すこと、これは懸念を提起する発見である。
  論文  参考訳（メタデータ） (2025-06-06T20:01:32Z)
• On the Fairness, Diversity and Reliability of Text-to-Image Generative Models [68.62012304574012]
  マルチモーダル生成モデルは 信頼性 公正性 誤用の可能性について 批判的な議論を巻き起こしました 埋め込み空間におけるグローバルおよびローカルな摂動に対する応答を解析し、モデルの信頼性を評価するための評価フレームワークを提案する。 提案手法は, 信頼できない, バイアス注入されたモデルを検出し, 組込みバイアスの証明をトレースするための基礎となる。
  論文  参考訳（メタデータ） (2024-11-21T09:46:55Z)
• Social Bias Probing: Fairness Benchmarking for Language Models [38.180696489079985]
  本稿では,社会的偏見を考慮した言語モデル構築のための新しい枠組みを提案する。 既存のフェアネスコレクションの制限に対処するために設計された大規模なベンチマークであるSoFaをキュレートする。 我々は、言語モデル内のバイアスが認識されるよりもニュアンスが高いことを示し、これまで認識されていたよりもより広く符号化されたバイアスの範囲を示している。
  論文  参考訳（メタデータ） (2023-11-15T16:35:59Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Supercharging Imbalanced Data Learning With Energy-based Contrastive Representation Transfer [72.5190560787569]
  コンピュータビジョンにおいて、長い尾のデータセットからの学習は、特に自然画像データセットの繰り返しのテーマである。 本稿では,データ生成機構がラベル条件と特徴分布の間で不変であるメタ分散シナリオを提案する。 これにより、因果データインフレーションの手順を利用してマイノリティクラスの表現を拡大できる。
  論文  参考訳（メタデータ） (2020-11-25T00:13:11Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。