論文の概要: The Bias of Harmful Label Associations in Vision-Language Models
- arxiv url: http://arxiv.org/abs/2402.07329v2
- Date: Mon, 15 Apr 2024 18:54:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 23:05:59.063491
- Title: The Bias of Harmful Label Associations in Vision-Language Models
- Title(参考訳): 視覚・言語モデルにおける有害ラベル協会のバイアス
- Authors: Caner Hazirbas, Alicia Sun, Yonathan Efroni, Mark Ibrahim,
- Abstract要約: 本研究では, 年齢, 性別, 肌の色調, 体調など, 自己申告されたラベルにまたがる有害なラベル関連頻度のバイアスについて検討した。
視覚言語モデルは、より暗い肌の色で個人を有害に分類する傾向にある。
- 参考スコア(独自算出の注目度): 21.22031806918789
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the remarkable performance of foundation vision-language models, the shared representation space for text and vision can also encode harmful label associations detrimental to fairness. While prior work has uncovered bias in vision-language models' (VLMs) classification performance across geography, work has been limited along the important axis of harmful label associations due to a lack of rich, labeled data. In this work, we investigate harmful label associations in the recently released Casual Conversations datasets containing more than 70,000 videos. We study bias in the frequency of harmful label associations across self-provided labels for age, gender, apparent skin tone, and physical adornments across several leading VLMs. We find that VLMs are $4-7$x more likely to harmfully classify individuals with darker skin tones. We also find scaling transformer encoder model size leads to higher confidence in harmful predictions. Finally, we find improvements on standard vision tasks across VLMs does not address disparities in harmful label associations.
- Abstract(参考訳): 基礎的なビジョン言語モデルの顕著な性能にもかかわらず、テキストとビジョンの共有表現空間は、公正性に有害なラベル関連を符号化することができる。
これまで,視覚言語モデル(VLM)の分類性能は地理的に偏りがみられてきたが,リッチなラベル付きデータがないため,有害ラベル関連の重要な軸に沿って作業が制限されてきた。
本研究では,最近リリースされた70,000本以上の動画を含むCasual Conversationsデータセットにおける有害なラベル関連について検討する。
本研究は, 年齢, 性別, 肌の色調, 身体の装飾など, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢など, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢, 年齢
VLMは4〜7ドル(約4~7万円)で、肌の色合いが暗い人ほど有害に分類される可能性が高いことがわかりました。
また、スケーリングトランスフォーマーエンコーダモデルのサイズが、有害な予測の信頼性を高めることも見出した。
最後に,VLM間の標準的な視覚タスクの改善は,有害なラベル関連における相違に対処しないことがわかった。
関連論文リスト
- How Robust are LLMs to In-Context Majority Label Bias? [3.3577727874594654]
本研究では,Large Language Models (LLMs) における文脈内学習のロバスト性について検討する。
また,モデルサイズの影響と,モデルの堅牢性に寄与する指導プロンプトの豊かさを強調した。
論文 参考訳(メタデータ) (2023-12-27T12:20:12Z) - Virtual Category Learning: A Semi-Supervised Learning Method for Dense
Prediction with Extremely Limited Labels [63.16824565919966]
本稿では,ラベルの修正を伴わずに,混乱したサンプルを積極的に使用することを提案する。
仮想カテゴリー(VC)は、モデルの最適化に安全に貢献できるように、各混乱したサンプルに割り当てられる。
私たちの興味深い発見は、密集した視覚タスクにおけるVC学習の利用に注目しています。
論文 参考訳(メタデータ) (2023-12-02T16:23:52Z) - Leveraging Diffusion Perturbations for Measuring Fairness in Computer
Vision [25.414154497482162]
拡散モデルを利用してそのようなデータセットを作成できることを実証する。
マルチクラスの職業分類タスクにおいて,複数の視覚言語モデルをベンチマークする。
非コーカサスラベルで生成された画像は、コーカサスラベルで生成された画像よりも、職業的誤分類率が高いことが判明した。
論文 参考訳(メタデータ) (2023-11-25T19:40:13Z) - Confronting LLMs with Traditional ML: Rethinking the Fairness of Large Language Models in Tabular Classifications [23.963586791210414]
大規模言語モデル (LLM) は, 学習データから社会的偏見を継承する傾向にあり, 分類作業における公平性に大きな影響を及ぼすことを示した。
この観察は、社会的バイアスがLSM自体に固有のものであり、事前学習されたコーパスから継承されていることを強調している。
論文 参考訳(メタデータ) (2023-10-23T06:31:28Z) - Marked Personas: Using Natural Language Prompts to Measure Stereotypes
in Language Models [33.157279170602784]
大規模言語モデル(LLM)におけるステレオタイプを測定するプロンプトベースの手法であるMarked Personasを提案する。
GPT-3.5 と GPT-4 が生成する描写は、同じプロンプトを用いた人間による描写よりも、人種的ステレオタイプの割合が高いことが判明した。
交叉レンズは、トロピズムやマイノリティ化された女性のセクシュアル化など、疎遠化されたグループの描写を支配しているトロープを露呈する。
論文 参考訳(メタデータ) (2023-05-29T16:29:22Z) - Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly
Supervised Video Anomaly Detection [149.23913018423022]
弱教師付きビデオ異常検出は、ビデオレベルのラベルのみを用いて、ビデオ内の異常事象を特定することを目的としている。
2段階の自己学習法は擬似ラベルの自己生成によって著しく改善されている。
本稿では,自己学習のための完全性と不確実性を利用した強化フレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-08T05:53:53Z) - Transductive CLIP with Class-Conditional Contrastive Learning [68.51078382124331]
雑音ラベル付き分類ネットワークをスクラッチから学習するための新しいフレームワークであるTransductive CLIPを提案する。
擬似ラベルへの依存を軽減するために,クラス条件のコントラスト学習機構を提案する。
アンサンブルラベルは、ノイズラベル付きディープニューラルネットワークのトレーニングを安定化するための擬似ラベル更新戦略として採用されている。
論文 参考訳(メタデータ) (2022-06-13T14:04:57Z) - Label Noise-Resistant Mean Teaching for Weakly Supervised Fake News
Detection [93.6222609806278]
本稿では,弱い教師付き偽ニュース検出のためのラベル雑音耐性平均教育手法 (LNMT) を提案する。
LNMTは、未ラベルのニュースとユーザのフィードバックコメントを活用して、トレーニングデータの量を増やす。
LNMTはラベル伝搬とラベル信頼性推定を備えた平均教師フレームワークを確立する。
論文 参考訳(メタデータ) (2022-06-10T16:01:58Z) - Hollywood Identity Bias Dataset: A Context Oriented Bias Analysis of
Movie Dialogues [20.222820874864748]
映画に登場する社会的偏見やステレオタイプは、リーチによって大きなダメージを与える可能性がある。
同一性バイアスに注釈を付けた映画脚本のデータセットを新たに導入する。
データセットには、(i) バイアスラベルに、性別、人種/民族、宗教、年齢、職業、LGBTQ、その他の7つのカテゴリのダイアログがアノテートされている。
論文 参考訳(メタデータ) (2022-05-31T16:49:51Z) - A Study on the Autoregressive and non-Autoregressive Multi-label
Learning [77.11075863067131]
本稿では,ラベルとラベルの依存関係を共同で抽出する自己アテンションに基づく変分エンコーダモデルを提案する。
したがって、ラベルラベルとラベル機能の両方の依存関係を保ちながら、すべてのラベルを並列に予測することができる。
論文 参考訳(メタデータ) (2020-12-03T05:41:44Z) - Labelling unlabelled videos from scratch with multi-modal
self-supervision [82.60652426371936]
ビデオデータセットの教師なしラベリングは、強力な機能エンコーダから解放されない。
人間のアノテーションを使わずにビデオデータセットの擬似ラベリングを可能にする新しいクラスタリング手法を提案する。
広範囲な分析により、結果として得られたクラスタは、真理の人間ラベルと高いセマンティックオーバーラップがあることが示されている。
論文 参考訳(メタデータ) (2020-06-24T12:28:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。