論文の概要: Joint Vision-Language Social Bias Removal for CLIP

• arxiv url: http://arxiv.org/abs/2411.12785v1
• Date: Tue, 19 Nov 2024 10:14:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:12:26.704333
• Title: Joint Vision-Language Social Bias Removal for CLIP
• Title（参考訳）: CLIPに対する統合視覚・言語型ソーシャルバイアス除去法
• Authors: Haoyu Zhang, Yangyang Guo, Mohan Kankanhalli,
• Abstract要約: 画像とテキストのバイアスを一致させる新しいV-L debiasingフレームワークを提案する。 この研究は、CLIPの社会的バイアス問題に対処する今後の研究に新たな洞察とガイダンスを提供すると信じている。
• 参考スコア（独自算出の注目度）: 16.954442426379913
• License:
• Abstract: Vision-Language (V-L) pre-trained models such as CLIP show prominent capabilities in various downstream tasks. Despite this promise, V-L models are notoriously limited by their inherent social biases. A typical demonstration is that V-L models often produce biased predictions against specific groups of people, significantly undermining their real-world applicability. Existing approaches endeavor to mitigate the social bias problem in V-L models by removing biased attribute information from model embeddings. However, after our revisiting of these methods, we find that their bias removal is frequently accompanied by greatly compromised V-L alignment capabilities. We then reveal that this performance degradation stems from the unbalanced debiasing in image and text embeddings. To address this issue, we propose a novel V-L debiasing framework to align image and text biases followed by removing them from both modalities. By doing so, our method achieves multi-modal bias mitigation while maintaining the V-L alignment in the debiased embeddings. Additionally, we advocate a new evaluation protocol that can 1) holistically quantify the model debiasing and V-L alignment ability, and 2) evaluate the generalization of social bias removal models. We believe this work will offer new insights and guidance for future studies addressing the social bias problem in CLIP.
• Abstract（参考訳）: CLIPのようなV-L(Vision-Language)事前訓練されたモデルは、さまざまな下流タスクで顕著な機能を示している。 この約束にもかかわらず、V-Lモデルは固有の社会的バイアスによって制限されていることが知られている。 典型的な実証は、V-Lモデルが特定のグループに対してバイアスのある予測をしばしば生成し、現実の応用性を著しく損なうことである。 既存のアプローチは、モデル埋め込みからバイアス属性情報を除去することで、V-Lモデルの社会的バイアス問題を緩和するために努力している。 しかし, これらの手法を再検討した結果, V-Lアライメント能力が著しく損なわれ, バイアス除去が頻発していることが判明した。 そして、この性能劣化は、画像とテキストの埋め込みにおける不均衡なデバイアスに起因することを明らかにした。 この問題に対処するために,画像とテキストのバイアスを一致させる新しいV-L脱バイアスフレームワークを提案する。 そこで本手法は, 脱バイアス埋め込みにおけるV-Lアライメントを維持しつつ, マルチモーダルバイアス緩和を実現する。 さらに、我々は新しい評価プロトコルを提唱する。 1)モデルデバイアスとV-Lアライメント能力の全体的定量化,及び 2) 社会的偏見除去モデルの一般化を評価する。 この研究は、CLIPの社会的バイアス問題に対処する今後の研究に新たな洞察とガイダンスを提供すると信じている。

関連論文リスト

• BendVLM: Test-Time Debiasing of Vision-Language Embeddings [31.033058277888234]
  視覚言語モデル(VLM)埋め込みは、トレーニングデータに存在するバイアスを符号化する。 VLMを微調整するデバイアスングアプローチは、しばしば破滅的な忘れ物に悩まされる。 本稿では,VLM埋込脱バイアスに対する非線形,微調整不要なアプローチであるBend-VLMを提案する。
  論文  参考訳（メタデータ） (2024-11-07T04:16:15Z)
• Covert Bias: The Severity of Social Views' Unalignment in Language Models Towards Implicit and Explicit Opinion [0.40964539027092917]
  過度なバイアスシナリオのエッジケースにおけるバイアスモデルを用いて、ビューに対するバイアスの重症度を評価する。 以上の結果から,暗黙的・明示的な意見の識別において,LLM 性能の相違が明らかとなり,反対意見の明示的な意見に対する偏見の傾向が一般的であった。 非整合モデルの直接的な不注意な反応は、決定性のさらなる洗練の必要性を示唆している。
  論文  参考訳（メタデータ） (2024-08-15T15:23:00Z)
• Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• Towards Understanding Task-agnostic Debiasing Through the Lenses of Intrinsic Bias and Forgetfulness [10.081447621656523]
  言語モデリング能力に影響を及ぼす影響は、高品質でコンテキストの長いデバイアスコーパスによって緩和することができる。 タスク依存型デバイアスングヒンジの有効性は、下流アプリケーションに使用されるタスク固有データとデバイアスドモデルの両方の量的バイアスレベルに影響を及ぼす。 本稿では,ソーシャル・フェア・デバイアスを下流ファインチューニング,ProSocialTuningに伝達する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-06T15:11:11Z)
• Self-Debiasing Large Language Models: Zero-Shot Recognition and Reduction of Stereotypes [73.12947922129261]
  ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。 自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。 この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
  論文  参考訳（メタデータ） (2024-02-03T01:40:11Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Survey of Social Bias in Vision-Language Models [65.44579542312489]
  調査の目的は、NLP、CV、VLをまたいだ事前学習モデルにおける社会バイアス研究の類似点と相違点について、研究者に高いレベルの洞察を提供することである。 ここで提示された発見とレコメンデーションはMLコミュニティの利益となり、公平でバイアスのないAIモデルの開発を促進する。
  論文  参考訳（メタデータ） (2023-09-24T15:34:56Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Counterfactually Measuring and Eliminating Social Bias in Vision-Language Pre-training Models [13.280828458515062]
  本稿では,視覚言語事前学習モデルにおける社会的バイアスを定量化するために,反事実に基づくバイアス測定emphCounterBiasを導入する。 また、性別バイアスを測定するための24K画像テキストペアを含む新しいVL-Biasデータセットを構築した。
  論文  参考訳（メタデータ） (2022-07-03T14:39:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。