論文の概要: My Answer Is NOT 'Fair': Mitigating Social Bias in Vision-Language Models via Fair and Biased Residuals

• arxiv url: http://arxiv.org/abs/2505.23798v1
• Date: Mon, 26 May 2025 15:14:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.509165
• Title: My Answer Is NOT 'Fair': Mitigating Social Bias in Vision-Language Models via Fair and Biased Residuals
• Title（参考訳）: 私の答えは「フェア」ではない:「フェア」と「バイアス」による視覚言語モデルにおける社会的バイアスの軽減
• Authors: Jian Lan, Yifei Fu, Udo Schlegel, Gengyuan Zhang, Tanveer Hannan, Haokun Chen, Thomas Seidl,
• Abstract要約: 我々は,モデルの応答と確率分布の両方に対する社会的バイアスの評価と緩和に焦点をあてる。 モデルがジェンダーバイアスや人種バイアスの反応を発生させることに悩まされていることがわかりました。 本稿では,学習自由でモデルに依存しない,社会的偏見を軽減するための推論段階のポストホック手法を提案する。
• 参考スコア（独自算出の注目度）: 6.321884145362591
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Social bias is a critical issue in large vision-language models (VLMs), where fairness- and ethics-related problems harm certain groups of people in society. It is unknown to what extent VLMs yield social bias in generative responses. In this study, we focus on evaluating and mitigating social bias on both the model's response and probability distribution. To do so, we first evaluate four state-of-the-art VLMs on PAIRS and SocialCounterfactuals datasets with the multiple-choice selection task. Surprisingly, we find that models suffer from generating gender-biased or race-biased responses. We also observe that models are prone to stating their responses are fair, but indeed having mis-calibrated confidence levels towards particular social groups. While investigating why VLMs are unfair in this study, we observe that VLMs' hidden layers exhibit substantial fluctuations in fairness levels. Meanwhile, residuals in each layer show mixed effects on fairness, with some contributing positively while some lead to increased bias. Based on these findings, we propose a post-hoc method for the inference stage to mitigate social bias, which is training-free and model-agnostic. We achieve this by ablating bias-associated residuals while amplifying fairness-associated residuals on model hidden layers during inference. We demonstrate that our post-hoc method outperforms the competing training strategies, helping VLMs have fairer responses and more reliable confidence levels.
• Abstract（参考訳）: 社会バイアスは大きな視覚言語モデル(VLM)において重要な問題であり、公正性や倫理に関する問題が社会の特定のグループに害を与えている。 VLMが生成応答においてどの程度社会的バイアスをもたらすかは分かっていない。 本研究では,モデル応答と確率分布の両方に対する社会的バイアスの評価と緩和に焦点を当てた。 そこで我々はまず,PAIRSとSocialCounterfactualsデータセットの4つの最先端VLMを複数選択タスクで評価した。 驚くべきことに、モデルが性別に偏ったり、人種に偏った反応を生じさせることに悩まされている。 また、モデルが公正な反応を示す傾向があるが、実際には特定の社会集団に対する信頼度が誤っていることも観察した。 本研究でVLMが不公平である理由を調査しながら,VLMの隠蔽層が公平度にかなりの変動を示すことを観察した。 一方、各層内の残留物は公平性に混合的な影響を示し、一部の層は正に寄与する一方、一部の層はバイアスの増加に寄与する。 これらの知見に基づいて,学習自由でモデルに依存しない,社会的偏見を軽減するための推論段階のポストホック手法を提案する。 本研究は, モデル隠れ層に有意性関連残基を増幅し, バイアス関連残基を増幅することにより実現した。 我々のポストホック法は、競合するトレーニング戦略よりも優れており、VLMがより公正な応答とより信頼性の高い信頼度を持つのに役立ちます。

関連論文リスト

• Fairness Mediator: Neutralize Stereotype Associations to Mitigate Bias in Large Language Models [66.5536396328527]
  LLMは必然的にトレーニングデータから急激な相関関係を吸収し、偏りのある概念と特定の社会的グループの間のステレオタイプ的関連をもたらす。 ステレオタイプアソシエーションを中和するバイアス緩和フレームワークであるFairness Mediator (FairMed)を提案する。 本フレームワークは, ステレオタイプアソシエーションプローバーと, 対向型デバイアス中和剤の2つの主成分からなる。
  論文  参考訳（メタデータ） (2025-04-10T14:23:06Z)
• Towards Large Language Models that Benefit for All: Benchmarking Group Fairness in Reward Models [16.977176752570617]
  大規模言語モデル(LLM)は、ますます強力で、人間のユーザにとってアクセスしやすくなっている。 多様な人口集団、すなわちグループフェアネスの公平性を保証することは、批判的な倫理的関心事である。 この研究は、学習した報酬モデルのグループフェアネスをベンチマークする。
  論文  参考訳（メタデータ） (2025-03-10T19:39:39Z)
• Unmasking Implicit Bias: Evaluating Persona-Prompted LLM Responses in Power-Disparate Social Scenarios [4.626073646852022]
  応答のセマンティックシフトを測定するために,コサイン距離を用いた新しいフレームワークを提案する。 我々は、人口動態が、権力の異なる社会シナリオにおける応答品質にどのように影響するかを評価する。 以上の結果から,中高年で有能な母国生まれのコーカサス系無神論的男性に対する「デフォルト・ペルソナ」バイアスが示唆された。
  論文  参考訳（メタデータ） (2025-03-03T13:44:03Z)
• On Fairness of Unified Multimodal Large Language Model for Image Generation [19.122441856516215]
  最新のU-MLLMをベンチマークした結果、ほとんどの場合、性別や人種バイアスなど、大きな人口統計バイアスが示されることがわかった。 我々の分析は、偏見は主に言語モデルに由来することを示している。 本稿では、人口分布と合成データとのバランスをとるために、新しいバランスの取れた選好モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-05T18:21:03Z)
• Towards Implicit Bias Detection and Mitigation in Multi-Agent LLM Interactions [25.809599403713506]
  大規模言語モデル(LLM)は、社会をシミュレートし、多様な社会的タスクを実行するために、多くの研究で採用されている。 LLMは、人為的なデータに曝されるため、社会的偏見に影響を受けやすい。 本研究では,多エージェントLDM相互作用における性バイアスの存在について検討し,これらのバイアスを軽減するための2つの方法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T15:28:05Z)
• VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
  我々は、LVLM(Large Vision-Language Models)におけるバイアスを評価するベンチマークであるVLBiasBenchを紹介する。 VLBiasBenchは、年齢、障害ステータス、性別、国籍、身体的外観、人種、宗教、職業、社会経済ステータスを含む9つの異なる社会バイアスのカテゴリを含むデータセットと、人種x性別と人種x社会経済ステータスの2つの交叉バイアスのカテゴリを含む。 15のオープンソースモデルと2つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルに存在するバイアスに関する新たな洞察を得る。
  論文  参考訳（メタデータ） (2024-06-20T10:56:59Z)
• A Theory of LLM Sampling: Part Descriptive and Part Prescriptive [53.08398658452411]
  大規模言語モデル(LLM)は、自律的な意思決定にますます活用されている。 このサンプリング行動が人間の意思決定と類似していることが示される。 統計的ノルムから規範的成分へのサンプルの偏りは、様々な現実世界の領域にまたがる概念に一貫して現れることを示す。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Fairness-aware Class Imbalanced Learning [57.45784950421179]
  つぶやきの感情と職業分類のロングテール学習手法を評価する。 フェアネスを強制する手法により、マージンロスに基づくアプローチを拡張します。
  論文  参考訳（メタデータ） (2021-09-21T22:16:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。