論文の概要: Gender and Racial Bias in Visual Question Answering Datasets

• arxiv url: http://arxiv.org/abs/2205.08148v2
• Date: Wed, 18 May 2022 08:47:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-19 10:31:49.262523
• Title: Gender and Racial Bias in Visual Question Answering Datasets
• Title（参考訳）: 視覚的質問応答データセットにおける性別と人種バイアス
• Authors: Yusuke Hirota, Yuta Nakashima, Noa Garcia
• Abstract要約: 視覚的質問応答(VQA)データセットにおける性別と人種的偏見について検討する。 回答の分布は,男女関係の質問と,有害性・ステレオタイプ標本の存在とで大きく異なることが判明した。 この結果から,潜在的に有害なステレオタイプを考慮せずに,VQAデータセットを使用する危険性が示唆された。
• 参考スコア（独自算出の注目度）: 24.075869811508404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-and-language tasks have increasingly drawn more attention as a means to evaluate human-like reasoning in machine learning models. A popular task in the field is visual question answering (VQA), which aims to answer questions about images. However, VQA models have been shown to exploit language bias by learning the statistical correlations between questions and answers without looking into the image content: e.g., questions about the color of a banana are answered with yellow, even if the banana in the image is green. If societal bias (e.g., sexism, racism, ableism, etc.) is present in the training data, this problem may be causing VQA models to learn harmful stereotypes. For this reason, we investigate gender and racial bias in five VQA datasets. In our analysis, we find that the distribution of answers is highly different between questions about women and men, as well as the existence of detrimental gender-stereotypical samples. Likewise, we identify that specific race-related attributes are underrepresented, whereas potentially discriminatory samples appear in the analyzed datasets. Our findings suggest that there are dangers associated to using VQA datasets without considering and dealing with the potentially harmful stereotypes. We conclude the paper by proposing solutions to alleviate the problem before, during, and after the dataset collection process.
• Abstract（参考訳）: 視覚と言語によるタスクは、機械学習モデルにおける人間のような推論を評価する手段として、ますます注目を集めている。 この分野で人気のあるタスクは視覚的質問応答(VQA)であり、画像に関する質問に答えることを目的としている。 しかしながら、VQAモデルは、画像の内容を見ることなく、質問と回答の統計的相関を学習することで、言語バイアスを活用することが示されている:例えば、画像中のバナナが緑色であっても、バナナの色に関する質問は黄色で答えられる。 トレーニングデータに社会的バイアス(性差別、人種差別、能力主義など)が存在する場合、この問題はVQAモデルに有害なステレオタイプを学習させる可能性がある。 このため、5つのVQAデータセットの性別と人種的偏見を調査する。 分析の結果,女性と男性に関する質問と,有害なジェンダー・ステレオ・サンプルの存在との間には,回答の分布が極めて異なることがわかった。 同様に、特定の人種関連属性が過小表示されているのに対し、潜在的に差別的なサンプルは分析されたデータセットに現れる。 この結果から,潜在的に有害なステレオタイプを考慮せずに,VQAデータセットを使用する危険性が示唆された。 この論文は、データセット収集プロセスの前後において、問題を緩和するための解決策を提案して結論づける。

関連論文リスト

• UNK-VQA: A Dataset and a Probe into the Abstention Ability of Multi-modal Large Models [55.22048505787125]
  本稿ではUNK-VQAと呼ばれる包括的データセットを提案する。 まず、画像または疑問について意図的に摂動することで、既存のデータを拡大する。 そこで我々は,新たなマルチモーダル大規模モデルのゼロショット性能と少数ショット性能を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-10-17T02:38:09Z)
• Gender Stereotyping Impact in Facial Expression Recognition [1.5340540198612824]
  近年,機械学習に基づくモデルが表情認識(FER)における最も一般的なアプローチとなっている。 公開可能なFERデータセットでは、見かけ上の性別表現は概ねバランスが取れているが、個々のラベルでの性別表現はそうではない。 我々は、特定のラベルの性別比を変化させることで、異なる量のステレオタイプバイアスを持つ微分データセットを生成する。 我々は、最低バイアス条件下で、性別間の特定の感情の認識において、最大で29 % の差を観察する。
  論文  参考訳（メタデータ） (2022-10-11T10:52:23Z)
• BBQ: A Hand-Built Bias Benchmark for Question Answering [25.108222728383236]
  NLPモデルは、世界に存在する社会的バイアスを学習することは十分に文書化されているが、これらのバイアスが、質問応答(QA)のような適用されたタスクに対して、実際のモデルアウトプットにどのように現れるかを示す研究はほとんど行われていない。 筆者らによって構築された質問セットからなるデータセットであるBias Benchmark for QA (BBQ)を導入し、米国英語の文脈に関連する9つの異なる社会的次元に沿って、保護されたクラスに属する人々に対するテキストテストされた社会的偏見を強調した。 文脈が曖昧であるとき、モデルはステレオタイプに強く依存していることが分かり、つまり、モデルの出力は、この設定において有害なバイアスを一貫して再現する。
  論文  参考訳（メタデータ） (2021-10-15T16:43:46Z)
• Human-Adversarial Visual Question Answering [62.30715496829321]
  我々は、最先端のVQAモデルと人間工学の例を比較検討する。 これらの例で評価すると,多種多様な最先端モデルの性能が低下していることが分かる。
  論文  参考訳（メタデータ） (2021-06-04T06:25:32Z)
• Overcoming Language Priors with Self-supervised Learning for Visual Question Answering [62.88124382512111]
  ほとんどのビジュアル質問回答(VQA)モデルは、言語の先行問題に苦しんでいます。 この問題を解決するための自己監督学習フレームワークを紹介します。 我々の手法は最先端の手法を大きく上回ることができる。
  論文  参考訳（メタデータ） (2020-12-17T12:30:12Z)
• Knowledge-Routed Visual Question Reasoning: Challenges for Deep Representation Embedding [140.5911760063681]
  VQAモデル評価のためのナレッジルーティング視覚質問推論という新しいデータセットを提案する。 視覚ゲノムシーングラフと外部知識ベースの両方に基づいて,制御プログラムを用いて質問応答対を生成する。
  論文  参考訳（メタデータ） (2020-12-14T00:33:44Z)
• UnQovering Stereotyping Biases via Underspecified Questions [68.81749777034409]
  未特定質問からバイアスを探索・定量化するためのフレームワークUNQOVERを提案する。 モデルスコアの素直な使用は,2種類の推論誤差による誤ったバイアス推定につながる可能性があることを示す。 我々はこの指標を用いて、性別、国籍、民族、宗教の4つの重要なステレオタイプの分析を行う。
  論文  参考訳（メタデータ） (2020-10-06T01:49:52Z)
• What Gives the Answer Away? Question Answering Bias Analysis on Video QA Datasets [40.64071905569975]
  ビデオQAデータセットの回答バイアスは、QAアーティファクトに過度に適合するように、マルチモーダルモデルを誤解させる可能性がある。 私たちの研究では、アノテータや質問の種類からバイアスが生まれます。 また,ビデオQAデータセットのQAバイアスを低減できることを示す。
  論文  参考訳（メタデータ） (2020-07-07T17:00:11Z)
• SQuINTing at VQA Models: Introspecting VQA Models with Sub-Questions [66.86887670416193]
  現状のVQAモデルでは、知覚や推論の問題に答える上で同等の性能を持つが、一貫性の問題に悩まされていることを示す。 この欠点に対処するため、サブクエスト対応ネットワークチューニング(SQuINT)というアプローチを提案する。 我々は,SQuINTがモデル一貫性を5%向上し,VQAにおける推論問題の性能も改善し,注意マップも改善したことを示す。
  論文  参考訳（メタデータ） (2020-01-20T01:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。