論文の概要: FACET: Fairness in Computer Vision Evaluation Benchmark

• arxiv url: http://arxiv.org/abs/2309.00035v1
• Date: Thu, 31 Aug 2023 17:59:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-04 15:42:33.997994
• Title: FACET: Fairness in Computer Vision Evaluation Benchmark
• Title（参考訳）: FACET:コンピュータビジョン評価ベンチマークの公正性
• Authors: Laura Gustafson, Chloe Rolland, Nikhila Ravi, Quentin Duval, Aaron Adcock, Cheng-Yang Fu, Melissa Hall, Candace Ross
• Abstract要約: コンピュータビジョンモデルは、性別や肌のトーンなどの属性間でパフォーマンスの相違が知られている。 FACET (FAirness in Computer Vision EvaluaTion) という新しいベンチマークを提案する。 FACETは、最も一般的な視覚タスクのための32kイメージの大規模な、一般公開された評価セットである。
• 参考スコア（独自算出の注目度）: 21.862644380063756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computer vision models have known performance disparities across attributes such as gender and skin tone. This means during tasks such as classification and detection, model performance differs for certain classes based on the demographics of the people in the image. These disparities have been shown to exist, but until now there has not been a unified approach to measure these differences for common use-cases of computer vision models. We present a new benchmark named FACET (FAirness in Computer Vision EvaluaTion), a large, publicly available evaluation set of 32k images for some of the most common vision tasks - image classification, object detection and segmentation. For every image in FACET, we hired expert reviewers to manually annotate person-related attributes such as perceived skin tone and hair type, manually draw bounding boxes and label fine-grained person-related classes such as disk jockey or guitarist. In addition, we use FACET to benchmark state-of-the-art vision models and present a deeper understanding of potential performance disparities and challenges across sensitive demographic attributes. With the exhaustive annotations collected, we probe models using single demographics attributes as well as multiple attributes using an intersectional approach (e.g. hair color and perceived skin tone). Our results show that classification, detection, segmentation, and visual grounding models exhibit performance disparities across demographic attributes and intersections of attributes. These harms suggest that not all people represented in datasets receive fair and equitable treatment in these vision tasks. We hope current and future results using our benchmark will contribute to fairer, more robust vision models. FACET is available publicly at https://facet.metademolab.com/
• Abstract（参考訳）: コンピュータビジョンモデルは、性別や肌のトーンなどの属性間でパフォーマンスの相違が知られている。 これは、分類や検出などのタスクの間、画像内の人々の人口統計に基づいて、特定のクラスでモデルのパフォーマンスが異なることを意味する。 これらの相違は存在することが示されているが、これまでコンピュータビジョンモデルの一般的なユースケースでこれらの差異を測定するための統一的なアプローチは存在していない。 画像分類,オブジェクト検出,セグメンテーションといった,最も一般的なビジョンタスクに対して,32k画像の大規模かつ一般公開された評価セットであるfacet (fairness in computer vision evaluation) という新しいベンチマークを提案する。 FACETのすべての画像に対して、私たちは専門家レビュアーを雇い、知覚された肌色やヘアタイプなどの人関連属性を手動でアノテートし、バウンディングボックスを手動で描画し、ディスクジョッキーやギタリストのようなきめ細かい人関連クラスをラベル付けした。 さらに、FACETを用いて最先端のビジョンモデルをベンチマークし、潜在的な性能格差と、センシティブな人口統計特性の課題についてより深く理解する。 総括アノテーションを収集し, 交叉アプローチ(例えば, 髪の色, 知覚皮膚のトーン)を用いて, 単一人口統計属性と複数の属性を用いてモデルを探索する。 その結果, 分類, 検出, セグメンテーション, 視覚接地モデルでは, 属性と属性の交点間で性能の差がみられた。 これらの危害は、データセットに代表されるすべての人が、これらのビジョンタスクで公平かつ公平な扱いを受けるわけではないことを示唆している。 ベンチマークを使用した現在および将来の成果が、より公平でより堅牢なビジョンモデルに貢献することを願っています。 FACETはhttps://facet.metademolab.com/で公開されている。

関連論文リスト

• When Does Perceptual Alignment Benefit Vision Representations? [76.32336818860965]
  視覚モデル表現と人間の知覚的判断との整合がユーザビリティに与える影響について検討する。 モデルと知覚的判断を一致させることで、多くの下流タスクで元のバックボーンを改善する表現が得られることがわかった。 その結果,人間の知覚的知識に関する帰納バイアスを視覚モデルに注入することは,より良い表現に寄与することが示唆された。
  論文  参考訳（メタデータ） (2024-10-14T17:59:58Z)
• Evaluating Multiview Object Consistency in Humans and Image Models [68.36073530804296]
  我々は、物体の形状に関するゼロショット視覚的推論を必要とする認知科学の実験的設計を活用する。 我々は500人以上の参加者から行動データの35万件の試行を収集した。 次に、一般的な視覚モデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-09-09T17:59:13Z)
• Leveraging vision-language models for fair facial attribute classification [19.93324644519412]
  汎用視覚言語モデル(英: General-purpose Vision-Language Model, VLM)は、共通感性属性のための豊富な知識源である。 我々は,VLM予測値と人間定義属性分布の対応関係を解析した。 複数のベンチマークの顔属性分類データセットの実験は、既存の教師なしベースラインよりもモデルの公平性の向上を示している。
  論文  参考訳（メタデータ） (2024-03-15T18:37:15Z)
• Leveraging Diffusion Perturbations for Measuring Fairness in Computer Vision [25.414154497482162]
  拡散モデルを利用してそのようなデータセットを作成できることを実証する。 マルチクラスの職業分類タスクにおいて,複数の視覚言語モデルをベンチマークする。 非コーカサスラベルで生成された画像は、コーカサスラベルで生成された画像よりも、職業的誤分類率が高いことが判明した。
  論文  参考訳（メタデータ） (2023-11-25T19:40:13Z)
• Fairness meets Cross-Domain Learning: a new perspective on Models and Metrics [80.07271410743806]
  クロスドメイン学習(CD)とモデルフェアネスの関係について検討する。 いくつかの人口集団にまたがる顔画像と医療画像のベンチマークと、分類とローカライゼーションタスクについて紹介する。 本研究は,3つの最先端フェアネスアルゴリズムとともに,14のCDアプローチをカバーし,前者が後者に勝ることを示す。
  論文  参考訳（メタデータ） (2023-03-25T09:34:05Z)
• DeAR: Debiasing Vision-Language Models with Additive Residuals [5.672132510411465]
  大規模な事前学習型視覚言語モデル(VLM)は、リッチで適応可能な画像とテキスト表現を提供する。 これらのモデルは、トレーニングデータ中の様々なアイデンティティ群が歪んだ分布のため、社会的バイアスに悩まされる。 本稿では,元の表現をオフセットする付加的残像表現を学習する新しいデバイアス法であるDeARを提案する。
  論文  参考訳（メタデータ） (2023-03-18T14:57:43Z)
• Auditing Gender Presentation Differences in Text-to-Image Models [54.16959473093973]
  我々は、テキスト・ツー・イメージ・モデルにおいて、ジェンダーがどのように異なる形で提示されるかを研究する。 入力テキスト中の性指標を探索することにより、プレゼンテーション中心属性の周波数差を定量化する。 このような違いを推定する自動手法を提案する。
  論文  参考訳（メタデータ） (2023-02-07T18:52:22Z)
• Ambiguous Images With Human Judgments for Robust Visual Event Classification [34.62731821199598]
  我々はあいまいな画像のデータセットを作成し、それらをビデオから抽出したノイズの多い画像の集合であるSQUID-E(Squidy)を作成する。 すべての画像は、地上の真理値でアノテートされ、テストセットは、人間の不確実性判定でアノテートされる。 このデータセットを用いて、視覚タスクにおける人間の不確実性を特徴づけ、既存の視覚事象分類モデルを評価する。
  論文  参考訳（メタデータ） (2022-10-06T17:52:20Z)
• Explaining Bias in Deep Face Recognition via Image Characteristics [9.569575076277523]
  2つのデータセットのセキュリティとユーザビリティの観点から,10種類の最先端の顔認識モデルを評価し,その妥当性を比較した。 次に,画像特性がモデル性能に与える影響を解析する。
  論文  参考訳（メタデータ） (2022-08-23T17:18:23Z)
• DALL-Eval: Probing the Reasoning Skills and Social Biases of Text-to-Image Generation Models [73.12069620086311]
  テキスト・ツー・イメージ・モデルの視覚的推論能力と社会的バイアスについて検討する。 まず,物体認識,物体カウント,空間的関係理解という3つの視覚的推論スキルを計測する。 第2に、生成した画像の性別/肌の色調分布を測定することにより、性別と肌のトーンバイアスを評価する。
  論文  参考訳（メタデータ） (2022-02-08T18:36:52Z)
• Are Commercial Face Detection Models as Biased as Academic Models? [64.71318433419636]
  我々は学術的および商業的な顔検出システムを比較し、特にノイズに対する堅牢性について検討する。 現状の学術的顔検出モデルでは、ノイズの頑健性に人口格差があることがわかった。 私たちは、商用モデルは、常に学術モデルと同じくらいの偏り、あるいはより偏りがある、と結論付けます。
  論文  参考訳（メタデータ） (2022-01-25T02:21:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。