論文の概要: Images Speak Louder than Words: Understanding and Mitigating Bias in Vision-Language Model from a Causal Mediation Perspective

• arxiv url: http://arxiv.org/abs/2407.02814v2
• Date: Mon, 07 Oct 2024 22:38:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:30:39.670195
• Title: Images Speak Louder than Words: Understanding and Mitigating Bias in Vision-Language Model from a Causal Mediation Perspective
• Title（参考訳）: 視覚・言語モデルにおけるバイアスの理解と緩和 : 因果治療の視点から
• Authors: Zhaotian Weng, Zijun Gao, Jerone Andrews, Jieyu Zhao,
• Abstract要約: 広範囲なデータセットで事前訓練された視覚言語モデルは、性情報とオブジェクトやシナリオを関連付けることによって、必然的にバイアスを学習することができる。 本稿では,因果媒介分析を取り入れた枠組みを提案し,バイアス発生と伝播の経路を計測・マッピングする。
• 参考スコア（独自算出の注目度）: 13.486497323758226
• License:
• Abstract: Vision-language models (VLMs) pre-trained on extensive datasets can inadvertently learn biases by correlating gender information with specific objects or scenarios. Current methods, which focus on modifying inputs and monitoring changes in the model's output probability scores, often struggle to comprehensively understand bias from the perspective of model components. We propose a framework that incorporates causal mediation analysis to measure and map the pathways of bias generation and propagation within VLMs. This approach allows us to identify the direct effects of interventions on model bias and the indirect effects of interventions on bias mediated through different model components. Our results show that image features are the primary contributors to bias, with significantly higher impacts than text features, specifically accounting for 32.57% and 12.63% of the bias in the MSCOCO and PASCAL-SENTENCE datasets, respectively. Notably, the image encoder's contribution surpasses that of the text encoder and the deep fusion encoder. Further experimentation confirms that contributions from both language and vision modalities are aligned and non-conflicting. Consequently, focusing on blurring gender representations within the image encoder, which contributes most to the model bias, reduces bias efficiently by 22.03% and 9.04% in the MSCOCO and PASCAL-SENTENCE datasets, respectively, with minimal performance loss or increased computational demands.
• Abstract（参考訳）: 広範囲なデータセットで事前訓練された視覚言語モデル(VLM)は、特定のオブジェクトやシナリオと性別情報を関連付けることによって、必然的にバイアスを学習することができる。 現在の手法は入力の変更やモデルの出力確率スコアの変化の監視に重点を置いており、しばしばモデルコンポーネントの観点からバイアスを包括的に理解するのに苦労する。 本稿では、因果媒介分析を取り入れた枠組みを提案し、VLM内のバイアス発生と伝播の経路を計測・マッピングする。 このアプローチにより、モデルバイアスに対する介入の直接効果と、異なるモデルコンポーネントを介して媒介されるバイアスに対する介入の間接効果を識別できる。 以上の結果から,MSCOCOデータセットとPASCAL-SENTENCEデータセットのバイアスの32.57%と12.63%は,画像特徴がテキスト特徴よりも有意に高い影響を持つことが示唆された。 特に、画像エンコーダのコントリビューションは、テキストエンコーダとディープフュージョンエンコーダのコントリビューションを上回っている。 さらなる実験により、言語と視覚の両方のモダリティからの貢献が一致し、矛盾しないことが確認される。 その結果、モデルバイアスに最も寄与する画像エンコーダ内の性別表現の曖昧化に焦点を当て、それぞれMSCOCOとPASCAL-SENTENCEデータセットのバイアスを22.03%、9.04%削減し、性能損失の最小化や計算要求の増大を図っている。

関連論文リスト

• Towards Deconfounded Image-Text Matching with Causal Inference [36.739004282369656]
  本稿では、画像テキストマッチングタスクのための革新的なDecon founded Causal Inference Network(DCIN)を提案する。 DCINは、モダル内およびモダル間共同創設者を分解し、それらを視覚的およびテキスト的特徴のエンコーディングステージに組み込む。 データセットバイアスによって引き起こされる刺激的な相関ではなく、因果関係を学ぶことができる。
  論文  参考訳（メタデータ） (2024-08-22T11:04:28Z)
• Corpus Considerations for Annotator Modeling and Scaling [9.263562546969695]
  一般的に使われているユーザトークンモデルは、より複雑なモデルよりも一貫して優れています。 以上の結果から,コーパス統計とアノテータモデリング性能の関係が明らかになった。
  論文  参考訳（メタデータ） (2024-04-02T22:27:24Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Balancing the Picture: Debiasing Vision-Language Datasets with Synthetic Contrast Sets [52.77024349608834]
  視覚言語モデルは、インターネットから未計算の画像テキストペアの事前トレーニング中に学んだ社会的バイアスを永続し、増幅することができる。 COCO Captionsは、背景コンテキストとその場にいる人々の性別間のバイアスを評価するために最も一般的に使用されるデータセットである。 本研究では,COCOデータセットを男女バランスの取れたコントラストセットで拡張する新しいデータセットデバイアスパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-24T17:59:18Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Mitigating Representation Bias in Action Recognition: Algorithms and Benchmarks [76.35271072704384]
  ディープラーニングモデルは、稀なシーンやオブジェクトを持つビデオに適用すると、パフォーマンスが悪くなります。 この問題にはアルゴリズムとデータセットの2つの異なる角度から対処する。 偏りのある表現は、他のデータセットやタスクに転送するとより一般化できることを示す。
  論文  参考訳（メタデータ） (2022-09-20T00:30:35Z)
• DASH: Visual Analytics for Debiasing Image Classification via User-Driven Synthetic Data Augmentation [27.780618650580923]
  画像分類モデルは、訓練データにおいて、入力特徴と出力クラスとの間の無関係な共起に基づいてクラスを予測することをしばしば学習する。 我々は、望ましくない相関を「データバイアス」と呼び、データバイアスを引き起こす視覚的特徴を「バイアス要因」と呼んでいる。 人間の介入なしにバイアスを自動的に識別し緩和することは困難である。
  論文  参考訳（メタデータ） (2022-09-14T00:44:41Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Visual Recognition with Deep Learning from Biased Image Datasets [6.10183951877597]
  視覚認知の文脈において、バイアスモデルがどのように治療問題に適用できるかを示す。 作業中のバイアス機構に関する(近似的な)知識に基づいて、我々のアプローチは観察を再重み付けする。 本稿では,画像データベース間で共有される低次元画像表現を提案する。
  論文  参考訳（メタデータ） (2021-09-06T10:56:58Z)
• Understanding Adversarial Examples from the Mutual Influence of Images and Perturbations [83.60161052867534]
  クリーンな画像と敵の摂動を遠ざけることで敵の例を分析し,その相互への影響を分析した。 以上の結果から,画像と普遍摂動の関係に対する新たな視点が示唆された。 我々は、オリジナルトレーニングデータを活用することなく、目標とするユニバーサルアタックの挑戦的なタスクを最初に達成した人物です。
  論文  参考訳（メタデータ） (2020-07-13T05:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。