論文の概要: Bias-to-Text: Debiasing Unknown Visual Biases through Language Interpretation

• arxiv url: http://arxiv.org/abs/2301.11104v3
• Date: Wed, 24 May 2023 11:06:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 11:25:10.010972
• Title: Bias-to-Text: Debiasing Unknown Visual Biases through Language Interpretation
• Title（参考訳）: Bias-to-Text: 言語解釈による未知のビジュアルバイアスの回避
• Authors: Younghyun Kim, Sangwoo Mo, Minkyu Kim, Kyungmin Lee, Jaeho Lee, Jinwoo Shin
• Abstract要約: 本稿では,視覚モデルにおけるバイアスを識別・緩和するB2Tフレームワークを提案する。 視覚バイアスの言語記述は、新しいバイアスの発見と効果的なモデルバイアスの発見を可能にする説明可能な形式を提供する。 様々な画像分類・生成タスクにおけるフレームワークの有効性を実証する。
• 参考スコア（独自算出の注目度）: 72.02386627482056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Biases in models pose a critical issue when deploying machine learning systems, but diagnosing them in an explainable manner can be challenging. To address this, we introduce the bias-to-text (B2T) framework, which uses language interpretation to identify and mitigate biases in vision models, such as image classifiers and text-to-image generative models. Our language descriptions of visual biases provide explainable forms that enable the discovery of novel biases and effective model debiasing. To achieve this, we analyze common keywords in the captions of mispredicted or generated images. Here, we propose novel score functions to avoid biases in captions by comparing the similarities between bias keywords and those images. Additionally, we present strategies to debias zero-shot classifiers and text-to-image diffusion models using the bias keywords from the B2T framework. We demonstrate the effectiveness of our framework on various image classification and generation tasks. For classifiers, we discover a new spurious correlation between the keywords "(sports) player" and "female" in Kaggle Face and improve the worst-group accuracy on Waterbirds by 11% through debiasing, compared to the baseline. For generative models, we detect and effectively prevent unfair (e.g., gender-biased) and unsafe (e.g., "naked") image generation.
• Abstract（参考訳）: モデルのバイアスは、機械学習システムをデプロイする場合に重大な問題となるが、それを説明可能な方法で診断することは困難である。 これに対処するために,画像分類器やテキストから画像への生成モデルといった視覚モデルのバイアスを,言語解釈を用いて識別し軽減するbias-to-text(b2t)フレームワークを導入する。 視覚バイアスの言語記述は、新しいバイアスの発見と効果的なモデルバイアスの発見を可能にする説明可能な形式を提供する。 そこで本研究では,誤認識や生成画像のキャプションにおける共通キーワードの分析を行う。 本稿では,バイアスキーワードと画像の類似性を比較することにより,キャプションのバイアスを回避するための新しいスコア関数を提案する。 さらに,B2Tフレームワークのバイアスキーワードを用いて,ゼロショット分類器とテキスト画像拡散モデルをデバイアス化する手法を提案する。 様々な画像分類・生成タスクにおけるフレームワークの有効性を実証する。 分類器では,Kaggle Face のキーワード "(スポーツ) プレーヤ" と "(スポーツ) の"女性" の相関関係が新たに発見され,Waterbirds の最低グループ精度は,ベースラインと比較して11%向上した。 生成モデルでは、不公平(性別バイアスなど)と不安全(「裸」など)の画像生成を検出し、効果的に防止する。

関連論文リスト

• Identifying Implicit Social Biases in Vision-Language Models [34.53206726136747]
  我々は、視覚言語モデルに存在する社会的バイアスを体系的に分析する。 CLIPは有害な単語と特定の人口集団の間に望ましくない関連性を示すことが多い。 本研究は,視覚言語モデルにおけるバイアスの評価と対処の重要性を強調した。
  論文  参考訳（メタデータ） (2024-11-01T19:41:28Z)
• Eliminating the Language Bias for Visual Question Answering with fine-grained Causal Intervention [9.859335795616028]
  よりきめ細かい視点から言語バイアスを排除するために,CIBiという新たな因果介入訓練手法を提案する。 我々は、文脈バイアスを排除し、マルチモーダル表現を改善するために因果介入とコントラスト学習を用いる。 我々は,キーワードバイアスを抽出・排除するために,対実生成に基づく質問専用ブランチを新たに設計する。
  論文  参考訳（メタデータ） (2024-10-14T06:09:16Z)
• GradBias: Unveiling Word Influence on Bias in Text-to-Image Generative Models [75.04426753720553]
  開集合におけるバイアスを特定し,定量化し,説明するための枠組みを提案する。 このパイプラインはLarge Language Model (LLM)を活用して、一連のキャプションから始まるバイアスを提案する。 このフレームワークには、OpenBiasとGradBiasの2つのバリエーションがあります。
  論文  参考訳（メタデータ） (2024-08-29T16:51:07Z)
• OpenBias: Open-set Bias Detection in Text-to-Image Generative Models [108.2219657433884]
  OpenBiasを提示するテキストから画像生成モデルにおけるオープンセットバイアス検出の課題に対処する。 OpenBiasは、事前コンパイルされた集合にアクセスすることなく、バイアスの深刻度を不可知的に識別し、定量化する。 本研究では, 安定拡散1.5, 2, XLの挙動について検討した。
  論文  参考訳（メタデータ） (2024-04-11T17:59:56Z)
• VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution [80.57383975987676]
  VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。 We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。 我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
  論文  参考訳（メタデータ） (2023-06-21T17:59:51Z)
• Balancing the Picture: Debiasing Vision-Language Datasets with Synthetic Contrast Sets [52.77024349608834]
  視覚言語モデルは、インターネットから未計算の画像テキストペアの事前トレーニング中に学んだ社会的バイアスを永続し、増幅することができる。 COCO Captionsは、背景コンテキストとその場にいる人々の性別間のバイアスを評価するために最も一般的に使用されるデータセットである。 本研究では,COCOデータセットを男女バランスの取れたコントラストセットで拡張する新しいデータセットデバイアスパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-24T17:59:18Z)
• Mitigating Test-Time Bias for Fair Image Retrieval [18.349154934096784]
  我々は、中立なテキストクエリにより、公平で偏りのない画像検索結果を生成するという課題に対処する。 本稿では,事前学習した視覚言語モデルから出力を後処理する簡単な手法であるポストホックバイアス緩和手法を提案する。 提案手法は,テキストによる画像検索結果において,既存の様々なバイアス軽減手法と比較して,最も低いバイアスを実現する。
  論文  参考訳（メタデータ） (2023-05-23T21:31:16Z)
• To Find Waldo You Need Contextual Cues: Debiasing Who's Waldo [53.370023611101175]
  本稿では,Cuiらによって提案されたPerson-centric Visual Groundingタスクに対して,偏りのあるデータセットを提案する。 画像とキャプションが与えられた場合、PCVGはキャプションに記載されている人物の名前と、画像内の人物を指し示すバウンディングボックスをペアリングする必要がある。 オリジナルのWho's Waldoデータセットには、メソッドによって簡単に解ける多数のバイアスのあるサンプルが含まれていることが分かりました。
  論文  参考訳（メタデータ） (2022-03-30T21:35:53Z)
• Identification of Biased Terms in News Articles by Comparison of Outlet-specific Word Embeddings [9.379650501033465]
  我々は2つの単語埋め込みモデルを訓練し、1つは左翼のテキストで、もう1つは右翼のニュースメディアで訓練する。 我々の仮説は、単語の埋め込み空間における表現は、偏りのある単語よりも非偏りのある単語に類似している、というものである。 本稿では,単語の埋め込みによって測定されたバイアス語の文脈を詳細に考察する。
  論文  参考訳（メタデータ） (2021-12-14T13:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。