論文の概要: A Prompt Array Keeps the Bias Away: Debiasing Vision-Language Models
with Adversarial Learning
- arxiv url: http://arxiv.org/abs/2203.11933v4
- Date: Wed, 26 Oct 2022 03:19:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-19 15:48:44.085773
- Title: A Prompt Array Keeps the Bias Away: Debiasing Vision-Language Models
with Adversarial Learning
- Title(参考訳): プロンプトアレイはバイアスを遠ざける: 逆学習による視覚言語モデルの偏り
- Authors: Hugo Berg, Siobhan Mackenzie Hall, Yash Bhalgat, Wonsuk Yang, Hannah
Rose Kirk, Aleksandar Shtedritski, Max Bain
- Abstract要約: 視覚言語モデルは社会的バイアスやステレオタイプを符号化することができる。
これらのマルチモーダル害の測定と緩和には課題がある。
バイアス尺度を調査し,画像テキスト表現にランキング指標を適用した。
- 参考スコア(独自算出の注目度): 55.96577490779591
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language models can encode societal biases and stereotypes, but there
are challenges to measuring and mitigating these multimodal harms due to
lacking measurement robustness and feature degradation. To address these
challenges, we investigate bias measures and apply ranking metrics for
image-text representations. We then investigate debiasing methods and show that
prepending learned embeddings to text queries that are jointly trained with
adversarial debiasing and a contrastive loss reduces various bias measures with
minimal degradation to the image-text representation.
- Abstract(参考訳): 視覚言語モデルは社会バイアスやステレオタイプをエンコードできるが、測定の堅牢性と特徴劣化の欠如により、これらのマルチモーダル害の測定と緩和には課題がある。
これらの課題に対処するために,バイアス尺度を調査し,画像テキスト表現にランク付け指標を適用する。
次に, 先行学習によるテキストクエリへの埋め込みが, 相反的デバイアスとコントラスト損失を併用することで, 画像テキスト表現の劣化を最小限に抑えることができることを示す。
関連論文リスト
- Debiasing Large Visual Language Models [61.6896704217147]
LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。
本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。
これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
論文 参考訳(メタデータ) (2024-03-08T12:35:07Z) - Mismatch Quest: Visual and Textual Feedback for Image-Text Misalignment [67.26937934504328]
本稿では,検出されたテキストと画像のペア間の相違点の詳細な説明を行う。
我々は、大きな言語モデルと視覚的接地モデルを活用して、与えられた画像に対して妥当なキャプションを保持するトレーニングセットを自動構築する。
また,テキストと視覚的ミスアライメントアノテーションを組み合わせた新たな人為的なテストセットも公開する。
論文 参考訳(メタデータ) (2023-12-05T20:07:34Z) - PRIME: Prioritizing Interpretability in Failure Mode Extraction [49.93565079216376]
訓練された画像分類モデルにおいて、故障モードに対する人間の理解可能な記述を提供することの課題について検討する。
本稿では,この問題における解釈可能性を重視した新しい手法を提案する。
本手法は,障害モードの同定に成功し,それに関連する高品質なテキスト記述を生成する。
論文 参考訳(メタデータ) (2023-09-29T22:00:12Z) - Composition and Deformance: Measuring Imageability with a Text-to-Image
Model [8.008504325316327]
生成した画像を用いて、単一英語の単語と接続されたテキストの可視性を測定する手法を提案する。
提案手法と個人単語の人的判断との間には高い相関関係が認められた。
本研究は,テキスト・ツー・イメージ・モデルにおけるモデルトレーニングの可能性と,構成性の研究に与える影響について論じる。
論文 参考訳(メタデータ) (2023-06-05T18:22:23Z) - Detecting Out-of-Context Multimodal Misinformation with interpretable
neural-symbolic model [16.682989759709898]
誤報の作者は、ニュース検出システムや偽ニュースを騙すために、マルチメディア以外のコンテンツを使う傾向が強まっている。
この新たなタイプの誤報は、検出だけでなく、個々のモダリティが真の情報に十分近いため、明確化の難しさも増す。
本稿では,不一致のペアと相互の矛盾を同時に識別する,解釈可能なクロスモーダル・デコンテクスト化検出を実現する方法について検討する。
論文 参考訳(メタデータ) (2023-04-15T21:11:55Z) - Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。
偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
論文 参考訳(メタデータ) (2023-01-31T20:09:33Z) - Bias-to-Text: Debiasing Unknown Visual Biases through Language
Interpretation [72.02386627482056]
本稿では,視覚モデルにおけるバイアスを識別・緩和するB2Tフレームワークを提案する。
視覚バイアスの言語記述は、新しいバイアスの発見と効果的なモデルバイアスの発見を可能にする説明可能な形式を提供する。
様々な画像分類・生成タスクにおけるフレームワークの有効性を実証する。
論文 参考訳(メタデータ) (2023-01-26T13:58:46Z) - Textual Enhanced Contrastive Learning for Solving Math Word Problems [23.196339273292246]
本稿では,意味的に類似した例を識別するためにモデルを強制するテキスト拡張コントラスト学習フレームワークを提案する。
テキストの微妙なばらつきのある例を豊かにするために、自己監督的な方法戦略を採用する。
実験結果から,提案手法は広く使用されているベンチマークデータセットと,英語と中国語の課題データセットの両面において,最先端性を実現していることが明らかとなった。
論文 参考訳(メタデータ) (2022-11-29T08:44:09Z) - Measuring Representational Harms in Image Captioning [5.543867614999908]
本稿では,5種類の表現的害を測定するための一連の手法と,その結果を述べる。
我々の目標は、この画像キャプションシステムを評価することではなく、基準的基礎計測技術を開発することであった。
測定手法の根底にある仮定を議論し、それが持たないことを指摘する。
論文 参考訳(メタデータ) (2022-06-14T21:08:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。