論文の概要: Discovering and Mitigating Visual Biases through Keyword Explanation

• arxiv url: http://arxiv.org/abs/2301.11104v4
• Date: Wed, 27 Mar 2024 03:47:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 23:31:58.776575
• Title: Discovering and Mitigating Visual Biases through Keyword Explanation
• Title（参考訳）: キーワード説明による視覚的バイアスの発見と緩和
• Authors: Younghyun Kim, Sangwoo Mo, Minkyu Kim, Kyungmin Lee, Jaeho Lee, Jinwoo Shin,
• Abstract要約: 視覚バイアスをキーワードとして解釈するBias-to-Text(B2T)フレームワークを提案する。 B2Tは、CelebAの性別バイアス、ウォーターバードの背景バイアス、ImageNet-R/Cの分布シフトなど、既知のバイアスを特定することができる。 B2Tは、Dollar StreetやImageNetのような大きなデータセットで、新しいバイアスを明らかにする。
• 参考スコア（独自算出の注目度）: 66.71792624377069
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Addressing biases in computer vision models is crucial for real-world AI deployments. However, mitigating visual biases is challenging due to their unexplainable nature, often identified indirectly through visualization or sample statistics, which necessitates additional human supervision for interpretation. To tackle this issue, we propose the Bias-to-Text (B2T) framework, which interprets visual biases as keywords. Specifically, we extract common keywords from the captions of mispredicted images to identify potential biases in the model. We then validate these keywords by measuring their similarity to the mispredicted images using a vision-language scoring model. The keyword explanation form of visual bias offers several advantages, such as a clear group naming for bias discovery and a natural extension for debiasing using these group names. Our experiments demonstrate that B2T can identify known biases, such as gender bias in CelebA, background bias in Waterbirds, and distribution shifts in ImageNet-R/C. Additionally, B2T uncovers novel biases in larger datasets, such as Dollar Street and ImageNet. For example, we discovered a contextual bias between "bee" and "flower" in ImageNet. We also highlight various applications of B2T keywords, including debiased training, CLIP prompting, and model comparison.
• Abstract（参考訳）: コンピュータビジョンモデルにおけるバイアスに対処することは、現実のAIデプロイメントにとって不可欠である。 しかし、視覚的偏見を緩和することは、説明不能な性質のために困難であり、しばしば可視化やサンプル統計を通じて間接的に識別される。 この問題に対処するために,視覚バイアスをキーワードとして解釈するBias-to-Text(B2T)フレームワークを提案する。 具体的には、誤予測画像のキャプションから一般的なキーワードを抽出し、モデル内の潜在的なバイアスを特定する。 次に、視覚言語スコアリングモデルを用いて、誤予測画像との類似性を計測し、これらのキーワードを検証する。 視覚バイアスのキーワード説明形式には、偏見発見のための明確なグループ命名や、これらのグループ名を用いた偏見の自然な拡張など、いくつかの利点がある。 実験の結果,B2TはCelebAの性別バイアス,Waterbirdsの背景バイアス,ImageNet-R/Cの分布変化など,既知のバイアスを識別できることがわかった。 さらに、B2Tは、Dollar StreetやImageNetなど、大規模なデータセットに新たなバイアスを発見できる。 例えば、ImageNetでは、"bee"と"flower"の間にコンテキストバイアスがあることを発見しました。 また、バイアスドトレーニング、CLIPプロンプト、モデル比較など、B2Tキーワードの様々な応用についても強調する。

関連論文リスト

• Identifying Implicit Social Biases in Vision-Language Models [34.53206726136747]
  我々は、視覚言語モデルに存在する社会的バイアスを体系的に分析する。 CLIPは有害な単語と特定の人口集団の間に望ましくない関連性を示すことが多い。 本研究は,視覚言語モデルにおけるバイアスの評価と対処の重要性を強調した。
  論文  参考訳（メタデータ） (2024-11-01T19:41:28Z)
• Eliminating the Language Bias for Visual Question Answering with fine-grained Causal Intervention [9.859335795616028]
  よりきめ細かい視点から言語バイアスを排除するために,CIBiという新たな因果介入訓練手法を提案する。 我々は、文脈バイアスを排除し、マルチモーダル表現を改善するために因果介入とコントラスト学習を用いる。 我々は,キーワードバイアスを抽出・排除するために,対実生成に基づく質問専用ブランチを新たに設計する。
  論文  参考訳（メタデータ） (2024-10-14T06:09:16Z)
• GradBias: Unveiling Word Influence on Bias in Text-to-Image Generative Models [75.04426753720553]
  開集合におけるバイアスを特定し,定量化し,説明するための枠組みを提案する。 このパイプラインはLarge Language Model (LLM)を活用して、一連のキャプションから始まるバイアスを提案する。 このフレームワークには、OpenBiasとGradBiasの2つのバリエーションがあります。
  論文  参考訳（メタデータ） (2024-08-29T16:51:07Z)
• OpenBias: Open-set Bias Detection in Text-to-Image Generative Models [108.2219657433884]
  OpenBiasを提示するテキストから画像生成モデルにおけるオープンセットバイアス検出の課題に対処する。 OpenBiasは、事前コンパイルされた集合にアクセスすることなく、バイアスの深刻度を不可知的に識別し、定量化する。 本研究では, 安定拡散1.5, 2, XLの挙動について検討した。
  論文  参考訳（メタデータ） (2024-04-11T17:59:56Z)
• VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution [80.57383975987676]
  VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。 We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。 我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
  論文  参考訳（メタデータ） (2023-06-21T17:59:51Z)
• Balancing the Picture: Debiasing Vision-Language Datasets with Synthetic Contrast Sets [52.77024349608834]
  視覚言語モデルは、インターネットから未計算の画像テキストペアの事前トレーニング中に学んだ社会的バイアスを永続し、増幅することができる。 COCO Captionsは、背景コンテキストとその場にいる人々の性別間のバイアスを評価するために最も一般的に使用されるデータセットである。 本研究では,COCOデータセットを男女バランスの取れたコントラストセットで拡張する新しいデータセットデバイアスパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-24T17:59:18Z)
• Mitigating Test-Time Bias for Fair Image Retrieval [18.349154934096784]
  我々は、中立なテキストクエリにより、公平で偏りのない画像検索結果を生成するという課題に対処する。 本稿では,事前学習した視覚言語モデルから出力を後処理する簡単な手法であるポストホックバイアス緩和手法を提案する。 提案手法は,テキストによる画像検索結果において,既存の様々なバイアス軽減手法と比較して,最も低いバイアスを実現する。
  論文  参考訳（メタデータ） (2023-05-23T21:31:16Z)
• To Find Waldo You Need Contextual Cues: Debiasing Who's Waldo [53.370023611101175]
  本稿では,Cuiらによって提案されたPerson-centric Visual Groundingタスクに対して,偏りのあるデータセットを提案する。 画像とキャプションが与えられた場合、PCVGはキャプションに記載されている人物の名前と、画像内の人物を指し示すバウンディングボックスをペアリングする必要がある。 オリジナルのWho's Waldoデータセットには、メソッドによって簡単に解ける多数のバイアスのあるサンプルが含まれていることが分かりました。
  論文  参考訳（メタデータ） (2022-03-30T21:35:53Z)
• Identification of Biased Terms in News Articles by Comparison of Outlet-specific Word Embeddings [9.379650501033465]
  我々は2つの単語埋め込みモデルを訓練し、1つは左翼のテキストで、もう1つは右翼のニュースメディアで訓練する。 我々の仮説は、単語の埋め込み空間における表現は、偏りのある単語よりも非偏りのある単語に類似している、というものである。 本稿では,単語の埋め込みによって測定されたバイアス語の文脈を詳細に考察する。
  論文  参考訳（メタデータ） (2021-12-14T13:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。