論文の概要: A Sociotechnical Lens for Evaluating Computer Vision Models: A Case Study on Detecting and Reasoning about Gender and Emotion
- arxiv url: http://arxiv.org/abs/2406.08222v1
- Date: Wed, 12 Jun 2024 13:52:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-13 16:46:00.374173
- Title: A Sociotechnical Lens for Evaluating Computer Vision Models: A Case Study on Detecting and Reasoning about Gender and Emotion
- Title（参考訳）: コンピュータビジョンモデル評価のための社会技術レンズ:ジェンダーと感情の検知と推論を事例として
- Authors: Sha Luo, Sang Jung Kim, Zening Duan, Kaiping Chen,
- Abstract要約: 本稿では,コンピュータビジョン(CV)モデルにおける社会的バイアスについて検討し,従来の評価指標の限界を強調した。
予防接種と気候変動に関連する5,570枚の画像のデータセットを用いて,各種CVモデルの性能を実証的に比較した。
以上の結果より, GPT-4 Visionは, トランスジェンダーや非バイナリペルソナに対して, 差別バイアスを呈することが明らかとなった。
- 参考スコア（独自算出の注目度）: 0.8999666725996978
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the evolving landscape of computer vision (CV) technologies, the automatic detection and interpretation of gender and emotion in images is a critical area of study. This paper investigates social biases in CV models, emphasizing the limitations of traditional evaluation metrics such as precision, recall, and accuracy. These metrics often fall short in capturing the complexities of gender and emotion, which are fluid and culturally nuanced constructs. Our study proposes a sociotechnical framework for evaluating CV models, incorporating both technical performance measures and considerations of social fairness. Using a dataset of 5,570 images related to vaccination and climate change, we empirically compared the performance of various CV models, including traditional models like DeepFace and FER, and generative models like GPT-4 Vision. Our analysis involved manually validating the gender and emotional expressions in a subset of images to serve as benchmarks. Our findings reveal that while GPT-4 Vision outperforms other models in technical accuracy for gender classification, it exhibits discriminatory biases, particularly in response to transgender and non-binary personas. Furthermore, the model's emotion detection skew heavily towards positive emotions, with a notable bias towards associating female images with happiness, especially when prompted by male personas. These findings underscore the necessity of developing more comprehensive evaluation criteria that address both validity and discriminatory biases in CV models. Our proposed framework provides guidelines for researchers to critically assess CV tools, ensuring their application in communication research is both ethical and effective. The significant contribution of this study lies in its emphasis on a sociotechnical approach, advocating for CV technologies that support social good and mitigate biases rather than perpetuate them.
- Abstract（参考訳）: コンピュータビジョン(CV)技術の進化途上において、画像中の性別と感情の自動検出と解釈は重要な研究領域である。
本稿では,CVモデルにおける社会的バイアスについて検討し,精度,リコール,精度といった従来の評価指標の限界を強調した。
これらの指標は、しばしば、流動的で文化的にニュアンスのある構成であるジェンダーと感情の複雑さを捉えるのに不足する。
本研究では,CVモデル評価のための社会工学的枠組みを提案する。
予防接種と気候変動に関連する5,570の画像のデータセットを用いて、DeepFaceやFERといった従来のモデルやGPT-4 Visionのような生成モデルなど、さまざまなCVモデルのパフォーマンスを実証的に比較した。
我々の分析では、画像のサブセットにおける性別と感情の表現を手動で検証し、ベンチマークとして機能させた。
GPT-4 Visionは、性別分類の技術的精度で他のモデルよりも優れているが、特にトランスジェンダーや非バイナリ・ペルソナに対する差別的偏見を示す。
さらに、モデルによる感情検出は肯定的な感情に大きく傾き、特に男性のペルソナによって引き起こされた女性のイメージと幸福を関連付けることに顕著な偏りがある。
これらの結果は,CVモデルの妥当性と差別バイアスに対処する,より包括的な評価基準の開発の必要性を浮き彫りにした。
提案フレームワークは,CVツールを批判的に評価するためのガイドラインを提供し,コミュニケーション研究への応用が倫理的かつ効果的であることを保証する。
この研究の重要な貢献は、社会工学的アプローチに重点を置いており、社会的善をサポートするCV技術と、それを持続させるよりもバイアスを軽減することを提唱している。
関連論文リスト
- FaceSaliencyAug: Mitigating Geographic, Gender and Stereotypical Biases via Saliency-Based Data Augmentation [46.74201905814679]
コンピュータビジョンモデルにおける性別バイアスに対処することを目的としたFaceSaliencyAugというアプローチを提案する。
Flickr Faces HQ(FFHQ)、WIKI、IMDB、Labelled Faces in the Wild(LFW)、UTK Faces、Diverseデータセットを含む5つのデータセットで、画像類似度スコア(ISS)を使用してデータセットの多様性を定量化する。
実験の結果,CNN と ViT の男女差の低減が明らかとなり,コンピュータビジョンモデルにおける公平性と傾きの促進に本手法の有効性が示唆された。
論文 参考訳（メタデータ） (2024-10-17T22:36:52Z) - Gender Bias Evaluation in Text-to-image Generation: A Survey [25.702257177921048]
テキスト・ツー・イメージ・ジェネレーションにおけるジェンダーバイアス評価に関する最近の研究についてレビューする。
安定拡散やDALL-E 2といった最近の人気モデルの評価に焦点をあてる。
論文 参考訳（メタデータ） (2024-08-21T06:01:23Z) - GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。
ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。
既存のLVLMでは男女差が広くみられた。
論文 参考訳（メタデータ） (2024-06-30T05:55:15Z) - Sensitivity, Performance, Robustness: Deconstructing the Effect of
Sociodemographic Prompting [64.80538055623842]
社会デマトグラフィープロンプトは、特定の社会デマトグラフィープロファイルを持つ人間が与える答えに向けて、プロンプトベースのモデルの出力を操縦する技術である。
ソシオデマトグラフィー情報はモデル予測に影響を及ぼし、主観的NLPタスクにおけるゼロショット学習を改善するのに有用であることを示す。
論文 参考訳（メタデータ） (2023-09-13T15:42:06Z) - Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。
偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。
人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
論文 参考訳（メタデータ） (2023-05-24T04:27:40Z) - Stable Bias: Analyzing Societal Representations in Diffusion Models [72.27121528451528]
本稿では,テキスト・ツー・イメージ(TTI)システムにおける社会的バイアスを探索する新しい手法を提案する。
我々のアプローチは、プロンプト内の性別や民族のマーカーを列挙して生成された画像の変動を特徴づけることに依存している。
我々はこの手法を利用して3つのTTIシステムによって生成された画像を分析し、そのアウトプットが米国の労働人口層と相関しているのに対して、彼らは常に異なる範囲において、限界化されたアイデンティティを低く表現している。
論文 参考訳（メタデータ） (2023-03-20T19:32:49Z) - Facial Expression Recognition using Squeeze and Excitation-powered Swin
Transformers [0.0]
本研究では,Swin Vision Transformers (SwinT) とSwin Vision Transformers (SE) を用いて,視覚タスクに対処するフレームワークを提案する。
我々の焦点は、最小限のデータを使って顔の感情を認識できるSwinTアーキテクチャに基づく効率的なFERモデルを作ることであった。
我々は、ハイブリッドデータセットでモデルをトレーニングし、そのパフォーマンスをAffectNetデータセットで評価し、F1スコア0.5420を達成しました。
論文 参考訳（メタデータ） (2023-01-26T02:29:17Z) - Social Biases in Automatic Evaluation Metrics for NLG [53.76118154594404]
本稿では,単語埋め込みアソシエーションテスト(WEAT)と文埋め込みアソシエーションテスト(SEAT)に基づく評価手法を提案する。
我々は、画像キャプションやテキスト要約タスクにおける性別バイアスの影響を調査するために、性別対応メタ評価データセットを構築した。
論文 参考訳（メタデータ） (2022-10-17T08:55:26Z) - Are Commercial Face Detection Models as Biased as Academic Models? [64.71318433419636]
我々は学術的および商業的な顔検出システムを比較し、特にノイズに対する堅牢性について検討する。
現状の学術的顔検出モデルでは、ノイズの頑健性に人口格差があることがわかった。
私たちは、商用モデルは、常に学術モデルと同じくらいの偏り、あるいはより偏りがある、と結論付けます。
論文 参考訳（メタデータ） (2022-01-25T02:21:42Z) - Automatic Expansion of Domain-Specific Affective Models for Web
Intelligence Applications [3.0012517171007755]
感覚コンピューティングは、異なる複雑さのよく定義された感情モデルに依存している。
洗練された機械学習アプローチと組み合わされた最もきめ細かい感情モデルでは、組織の戦略的位置決めの目標を完全に把握できないかもしれません。
本稿では、知識グラフで利用可能な共通知識と常識知識と、言語モデルと感情的推論を組み合わせた感情モデルの拡張手法を紹介する。
論文 参考訳（メタデータ） (2021-02-01T13:32:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。