論文の概要: Bias-to-Text: Debiasing Unknown Visual Biases through Language
Interpretation
- arxiv url: http://arxiv.org/abs/2301.11104v3
- Date: Wed, 24 May 2023 11:06:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 11:25:10.010972
- Title: Bias-to-Text: Debiasing Unknown Visual Biases through Language
Interpretation
- Title(参考訳): Bias-to-Text: 言語解釈による未知のビジュアルバイアスの回避
- Authors: Younghyun Kim, Sangwoo Mo, Minkyu Kim, Kyungmin Lee, Jaeho Lee, Jinwoo
Shin
- Abstract要約: 本稿では,視覚モデルにおけるバイアスを識別・緩和するB2Tフレームワークを提案する。
視覚バイアスの言語記述は、新しいバイアスの発見と効果的なモデルバイアスの発見を可能にする説明可能な形式を提供する。
様々な画像分類・生成タスクにおけるフレームワークの有効性を実証する。
- 参考スコア(独自算出の注目度): 72.02386627482056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Biases in models pose a critical issue when deploying machine learning
systems, but diagnosing them in an explainable manner can be challenging. To
address this, we introduce the bias-to-text (B2T) framework, which uses
language interpretation to identify and mitigate biases in vision models, such
as image classifiers and text-to-image generative models. Our language
descriptions of visual biases provide explainable forms that enable the
discovery of novel biases and effective model debiasing. To achieve this, we
analyze common keywords in the captions of mispredicted or generated images.
Here, we propose novel score functions to avoid biases in captions by comparing
the similarities between bias keywords and those images. Additionally, we
present strategies to debias zero-shot classifiers and text-to-image diffusion
models using the bias keywords from the B2T framework. We demonstrate the
effectiveness of our framework on various image classification and generation
tasks. For classifiers, we discover a new spurious correlation between the
keywords "(sports) player" and "female" in Kaggle Face and improve the
worst-group accuracy on Waterbirds by 11% through debiasing, compared to the
baseline. For generative models, we detect and effectively prevent unfair
(e.g., gender-biased) and unsafe (e.g., "naked") image generation.
- Abstract(参考訳): モデルのバイアスは、機械学習システムをデプロイする場合に重大な問題となるが、それを説明可能な方法で診断することは困難である。
これに対処するために,画像分類器やテキストから画像への生成モデルといった視覚モデルのバイアスを,言語解釈を用いて識別し軽減するbias-to-text(b2t)フレームワークを導入する。
視覚バイアスの言語記述は、新しいバイアスの発見と効果的なモデルバイアスの発見を可能にする説明可能な形式を提供する。
そこで本研究では,誤認識や生成画像のキャプションにおける共通キーワードの分析を行う。
本稿では,バイアスキーワードと画像の類似性を比較することにより,キャプションのバイアスを回避するための新しいスコア関数を提案する。
さらに,B2Tフレームワークのバイアスキーワードを用いて,ゼロショット分類器とテキスト画像拡散モデルをデバイアス化する手法を提案する。
様々な画像分類・生成タスクにおけるフレームワークの有効性を実証する。
分類器では,Kaggle Face のキーワード "(スポーツ) プレーヤ" と "(スポーツ) の"女性" の相関関係が新たに発見され,Waterbirds の最低グループ精度は,ベースラインと比較して11%向上した。
生成モデルでは、不公平(性別バイアスなど)と不安全(「裸」など)の画像生成を検出し、効果的に防止する。
関連論文リスト
- TIBET: Identifying and Evaluating Biases in Text-to-Image Generative
Models [23.18396000415575]
本稿では,任意のテキスト・ツー・イメージ(TTI)モデルと任意のプロンプトに対して,幅広いバイアススペクトルを研究・定量化するための一般的なアプローチを提案する。
我々の手法は、与えられたプロンプトに関連する可能性のある潜在的なバイアスを自動的に識別し、それらのバイアスを測定する。
本研究では,本手法が意味論的概念を通じて複雑な多次元バイアスを説明できることを示す。
論文 参考訳(メタデータ) (2023-12-03T02:31:37Z) - General Phrase Debiaser: Debiasing Masked Language Models at a
Multi-Token Level [12.014504621547765]
我々はtextbf General Phrase Debiaser と呼ばれる自動マルチトークンデバイアスパイプラインを提案する。
具体的には,ウィキペディアページからステレオタイプ句を生成するテキストフレーズフィルタのステージから構成する。
後者はモデルのバイアスをトリガーするプロンプトを検索し、デバイアスに使用する。
論文 参考訳(メタデータ) (2023-11-23T10:23:51Z) - Word-Level Explanations for Analyzing Bias in Text-to-Image Models [72.71184730702086]
Text-to-image(T2I)モデルは、人種や性別に基づいて少数派を過小評価する画像を生成することができる。
本稿では,入力プロンプトのどの単語が生成画像のバイアスの原因となるかを検討する。
論文 参考訳(メタデータ) (2023-06-03T21:39:07Z) - Revisiting the Role of Language Priors in Vision-Language Models [96.59023532372842]
視覚言語モデル(VLM)は、微調整なしで、ゼロショット方式で様々な視覚的理解タスクに適用される。
我々は、画像から次の単語を生成するために訓練された$textitgenerative VLMs$について研究する。
画像テキスト検索の図解的タスクにおけるゼロショット性能を,8つの人気のある視覚言語ベンチマークで検証する。
論文 参考訳(メタデータ) (2023-06-02T19:19:43Z) - Balancing the Picture: Debiasing Vision-Language Datasets with Synthetic
Contrast Sets [52.77024349608834]
視覚言語モデルは、インターネットから未計算の画像テキストペアの事前トレーニング中に学んだ社会的バイアスを永続し、増幅することができる。
COCO Captionsは、背景コンテキストとその場にいる人々の性別間のバイアスを評価するために最も一般的に使用されるデータセットである。
本研究では,COCOデータセットを男女バランスの取れたコントラストセットで拡張する新しいデータセットデバイアスパイプラインを提案する。
論文 参考訳(メタデータ) (2023-05-24T17:59:18Z) - Mitigating Test-Time Bias for Fair Image Retrieval [18.349154934096784]
我々は、中立なテキストクエリにより、公平で偏りのない画像検索結果を生成するという課題に対処する。
本稿では,事前学習した視覚言語モデルから出力を後処理する簡単な手法であるポストホックバイアス緩和手法を提案する。
提案手法は,テキストによる画像検索結果において,既存の様々なバイアス軽減手法と比較して,最も低いバイアスを実現する。
論文 参考訳(メタデータ) (2023-05-23T21:31:16Z) - Discriminative Diffusion Models as Few-shot Vision and Language Learners [91.38524112662448]
本稿では,事前学習したテキストと画像の拡散モデルを数ショットの識別学習者に変換する新しい手法,DSDを提案する。
本手法は, 安定拡散モデルにおいて, 視覚情報とテキスト情報の相互影響を捉えるために, クロスアテンションスコアを用いている。
論文 参考訳(メタデータ) (2023-05-18T05:41:36Z) - Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。
偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
論文 参考訳(メタデータ) (2023-01-31T20:09:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。