論文の概要: Identifying Implicit Social Biases in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2411.00997v1
• Date: Fri, 01 Nov 2024 19:41:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:52:02.187203
• Title: Identifying Implicit Social Biases in Vision-Language Models
• Title（参考訳）: 視覚言語モデルにおける無意味な社会的バイアスの同定
• Authors: Kimia Hamidieh, Haoran Zhang, Walter Gerych, Thomas Hartvigsen, Marzyeh Ghassemi,
• Abstract要約: 我々は、視覚言語モデルに存在する社会的バイアスを体系的に分析する。 CLIPは有害な単語と特定の人口集団の間に望ましくない関連性を示すことが多い。 本研究は,視覚言語モデルにおけるバイアスの評価と対処の重要性を強調した。
• 参考スコア（独自算出の注目度）: 34.53206726136747
• License:
• Abstract: Vision-language models, like CLIP (Contrastive Language Image Pretraining), are becoming increasingly popular for a wide range of multimodal retrieval tasks. However, prior work has shown that large language and deep vision models can learn historical biases contained in their training sets, leading to perpetuation of stereotypes and potential downstream harm. In this work, we conduct a systematic analysis of the social biases that are present in CLIP, with a focus on the interaction between image and text modalities. We first propose a taxonomy of social biases called So-B-IT, which contains 374 words categorized across ten types of bias. Each type can lead to societal harm if associated with a particular demographic group. Using this taxonomy, we examine images retrieved by CLIP from a facial image dataset using each word as part of a prompt. We find that CLIP frequently displays undesirable associations between harmful words and specific demographic groups, such as retrieving mostly pictures of Middle Eastern men when asked to retrieve images of a "terrorist". Finally, we conduct an analysis of the source of such biases, by showing that the same harmful stereotypes are also present in a large image-text dataset used to train CLIP models for examples of biases that we find. Our findings highlight the importance of evaluating and addressing bias in vision-language models, and suggest the need for transparency and fairness-aware curation of large pre-training datasets.
• Abstract（参考訳）: CLIP(Contrastive Language Image Pretraining)のような視覚言語モデルは、幅広いマルチモーダル検索タスクで人気が高まっている。 しかし、以前の研究では、大きな言語と深い視覚モデルがトレーニングセットに含まれる歴史的バイアスを学習できることが示されており、ステレオタイプが永続化し、下流の危害がもたらされる可能性がある。 本研究では,CLIPに存在する社会的バイアスの系統的分析を行い,画像とテキストのモダリティの相互作用に着目した。 まず,10種類の偏見に分類された374の単語を含む社会バイアス分類So-B-ITを提案する。 それぞれのタイプは、特定の人口集団に関連付けられた場合、社会的な害をもたらす可能性がある。 この分類法を用いて,各単語をプロンプトの一部として,顔画像データセットからCLIPが検索した画像を調べる。 CLIPは、有害な単語と特定の人口集団の間に、しばしば望ましくない関連性を示す。 最後に、このようなバイアスの源泉を解析し、同じ有害なステレオタイプがCLIPモデルのトレーニングに使用される大規模な画像テキストデータセットにも存在していることを示し、バイアスの例を示す。 本研究は,視覚言語モデルにおけるバイアスの評価と対処の重要性を強調し,大規模事前学習データセットの透明性と公平性を考慮したキュレーションの必要性を示唆する。

関連論文リスト

• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• Dataset Scale and Societal Consistency Mediate Facial Impression Bias in Vision-Language AI [17.101569078791492]
  43のCLIP視覚言語モデルを用いて、人間の顔の印象バイアスを学習するかどうかを検証した。 社会全体でバイアスが共有される度合いがCLIPモデルに反映される度合いを予測するのはこれが初めてである。
  論文  参考訳（メタデータ） (2024-08-04T08:26:58Z)
• Blind Dates: Examining the Expression of Temporality in Historical Photographs [57.07335632641355]
  マルチモーダル言語とビジョンモデルであるCLIPのオープンソース実装であるOpenCLIPを用いて、画像の日付を調査する。 我々は1950年から1999年までの39,866枚のグレースケールの歴史的プレス写真を含むtextitDe Boer Scene Detectionデータセットを使用している。 解析の結果、バス、車、猫、犬、そして人々が写っている画像はより正確に年代付けされており、時間的マーカーの存在が示唆されている。
  論文  参考訳（メタデータ） (2023-10-10T13:51:24Z)
• Vocabulary-free Image Classification [75.38039557783414]
  VIC(Vocabulary-free Image Classification)と呼ばれる新しいタスクを定式化する。 VICは、既知の語彙を必要とせずに、制約のない言語によって引き起こされる意味空間に存在するクラスを入力画像に割り当てることを目的としている。 CaSEDは、事前訓練された視覚言語モデルと外部視覚言語データベースを利用して、VICをトレーニング不要に対処する手法である。
  論文  参考訳（メタデータ） (2023-06-01T17:19:43Z)
• Uncurated Image-Text Datasets: Shedding Light on Demographic Bias [21.421722941901123]
  MSCOCOのような小さいが手動で注釈付けされたデータセットでさえ、社会的バイアスの影響を受けている。 最初のコントリビューションは、ビジョンと言語モデルのトレーニングに広く使用されている、Google Conceptual Captionsデータセットの一部に注釈を付けることです。 第2の貢献は、アノテーションの包括的な分析を行うことであり、どのように異なる人口集団が表現されるかに焦点を当てている。 第3の貢献は3つの一般的な視覚・言語タスクを評価することであり、社会的バイアスはそれらすべてにおいて永続的な問題であることを示している。
  論文  参考訳（メタデータ） (2023-04-06T02:33:51Z)
• DeAR: Debiasing Vision-Language Models with Additive Residuals [5.672132510411465]
  大規模な事前学習型視覚言語モデル(VLM)は、リッチで適応可能な画像とテキスト表現を提供する。 これらのモデルは、トレーニングデータ中の様々なアイデンティティ群が歪んだ分布のため、社会的バイアスに悩まされる。 本稿では,元の表現をオフセットする付加的残像表現を学習する新しいデバイアス法であるDeARを提案する。
  論文  参考訳（メタデータ） (2023-03-18T14:57:43Z)
• Discovering and Mitigating Visual Biases through Keyword Explanation [66.71792624377069]
  視覚バイアスをキーワードとして解釈するBias-to-Text(B2T)フレームワークを提案する。 B2Tは、CelebAの性別バイアス、ウォーターバードの背景バイアス、ImageNet-R/Cの分布シフトなど、既知のバイアスを特定することができる。 B2Tは、Dollar StreetやImageNetのような大きなデータセットで、新しいバイアスを明らかにする。
  論文  参考訳（メタデータ） (2023-01-26T13:58:46Z)
• Worst of Both Worlds: Biases Compound in Pre-trained Vision-and-Language Models [17.90351661475405]
  この研究は、テキストベースのバイアス分析手法を拡張し、マルチモーダル言語モデルを調べる。 VL-BERTが性別バイアスを示し、視覚シーンを忠実に表現するよりもステレオタイプを強化することを好むことが多いことを実証します。
  論文  参考訳（メタデータ） (2021-04-18T00:02:32Z)
• Probing Contextual Language Models for Common Ground with Visual Representations [76.05769268286038]
  我々は、マッチングと非マッチングの視覚表現を区別する上で、テキストのみの表現がいかに効果的かを評価するための探索モデルを設計する。 以上の結果から,言語表現だけでは,適切な対象カテゴリから画像パッチを検索する強力な信号が得られることがわかった。 視覚的に接地された言語モデルは、例えば検索においてテキストのみの言語モデルよりわずかに優れているが、人間よりもはるかに低い。
  論文  参考訳（メタデータ） (2020-05-01T21:28:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。