論文の概要: Towards measuring fairness in AI: the Casual Conversations dataset

• arxiv url: http://arxiv.org/abs/2104.02821v1
• Date: Tue, 6 Apr 2021 22:48:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-08 13:05:56.299250
• Title: Towards measuring fairness in AI: the Casual Conversations dataset
• Title（参考訳）: AIの公正性測定に向けたCasual Conversationsデータセット
• Authors: Caner Hazirbas, Joanna Bitton, Brian Dolhansky, Jacqueline Pan, Albert Gordo, Cristian Canton Ferrer
• Abstract要約: 私たちのデータセットは3,011人の被験者で構成されており、45,000以上のビデオがあり、1人あたり平均15本のビデオがある。 ビデオはアメリカの複数の州で撮影され、年齢、性別、肌の色など様々な種類の成人が撮影された。
• 参考スコア（独自算出の注目度）: 9.246092246471955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a novel dataset to help researchers evaluate their computer vision and audio models for accuracy across a diverse set of age, genders, apparent skin tones and ambient lighting conditions. Our dataset is composed of 3,011 subjects and contains over 45,000 videos, with an average of 15 videos per person. The videos were recorded in multiple U.S. states with a diverse set of adults in various age, gender and apparent skin tone groups. A key feature is that each subject agreed to participate for their likenesses to be used. Additionally, our age and gender annotations are provided by the subjects themselves. A group of trained annotators labeled the subjects' apparent skin tone using the Fitzpatrick skin type scale. Moreover, annotations for videos recorded in low ambient lighting are also provided. As an application to measure robustness of predictions across certain attributes, we provide a comprehensive study on the top five winners of the DeepFake Detection Challenge (DFDC). Experimental evaluation shows that the winning models are less performant on some specific groups of people, such as subjects with darker skin tones and thus may not generalize to all people. In addition, we also evaluate the state-of-the-art apparent age and gender classification methods. Our experiments provides a through analysis on these models in terms of fair treatment of people from various backgrounds.
• Abstract（参考訳）: 本稿では,様々な年齢,性別,肌色,環境照明条件において,コンピュータビジョンと音響モデルの正確性を評価するための新しいデータセットを提案する。 私たちのデータセットは3,011人の被験者で構成されており、45,000以上のビデオがあり、1人あたり平均15本のビデオがある。 ビデオはアメリカの複数の州で撮影され、年齢、性別、肌の色など様々な種類の成人が撮影された。 重要な特徴は、各被験者が自分の好きなように参加することに同意したことである。 さらに、年齢と性別のアノテーションは、被験者自身によって提供される。 訓練されたアノテーターのグループは、フィッツパトリックの皮膚型尺度を用いて被験者の見かけの皮膚のトーンをラベル付けした。 また、低環境照明で記録された映像に対する注釈も提供する。 特定の属性にまたがる予測のロバスト性を測定するためのアプリケーションとして,deepfake detection challenge (dfdc) の受賞者トップ5について総合的な調査を行った。 実験により, 勝利モデルは皮膚の色調が濃く, 全身に一般化できないような特定の集団において, パフォーマンスが低いことが明らかとなった。 また,現在最先端の年齢と性別分類法についても検討した。 我々の実験は、様々な背景を持つ人々の公平な扱いの観点から、これらのモデルのスルー分析を提供する。

関連論文リスト

• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• Vision-Language Models under Cultural and Inclusive Considerations [53.614528867159706]
  視覚言語モデル(VLM)は、日常生活の画像を記述することで視覚障害者を支援する。 現在の評価データセットは、多様な文化的ユーザ背景や、このユースケースの状況を反映していない可能性がある。 我々は、字幕の好みを決定するための調査を作成し、視覚障害者によって撮影された画像を含む既存のデータセットであるVizWizをフィルタリングすることで、文化中心の評価ベンチマークを提案する。 次に,複数のVLMを評価し,その信頼性を文化的に多様な環境で視覚アシスタントとして検証した。
  論文  参考訳（メタデータ） (2024-07-08T17:50:00Z)
• Unmasking Illusions: Understanding Human Perception of Audiovisual Deepfakes [49.81915942821647]
  本研究は,ディープフェイク映像を主観的研究により識別する人間の能力を評価することを目的とする。 人間の観察者を5つの最先端オーディオ視覚深度検出モデルと比較することにより,その知見を提示する。 同じ40の動画で評価すると、すべてのAIモデルは人間より優れていることが分かりました。
  論文  参考訳（メタデータ） (2024-05-07T07:57:15Z)
• Vital Videos: A dataset of face videos with PPG and blood pressure ground truths [0.0]
  データセットには、男女のほぼ同数のデータと、すべての年齢の参加者が含まれている。 データはさまざまな場所で収集され、さまざまな背景や照明条件が確保された。 リモートバイタルサイン計測の研究と開発を支援するため、私たちはこのデータセットへのアクセスをオープンにしています。
  論文  参考訳（メタデータ） (2023-06-02T17:47:29Z)
• Consensus and Subjectivity of Skin Tone Annotation for ML Fairness [1.0728297108232812]
  Monk Skin Tone Examples (MST-E)データセットをリリースしました。 本研究は, 環境条件の厳しい条件下であっても, MSTスケールの専門家と整合して, 皮膚のトーンを確実にアノテートできることを示唆する。 フェアネス研究では,各画像に対して多彩なアノテータと高い複製数を使用することを推奨する。
  論文  参考訳（メタデータ） (2023-05-16T00:03:09Z)
• The Casual Conversations v2 Dataset [6.439761523935614]
  データセットには、5,567人のユニークな有料参加者による26,467の動画が含まれており、平均して1人あたりの動画数は5本である。 参加者は、AIモデルの公正性を評価するためにデータを使用することに同意し、自己申告された年齢、性別、言語/方言、障害ステータス、身体的装飾、物理的属性、位置情報を提供した。
  論文  参考訳（メタデータ） (2023-03-08T19:17:05Z)
• How Would The Viewer Feel? Estimating Wellbeing From Video Scenarios [73.24092762346095]
  情緒応答と主観的幸福感に注釈を付けた6万本以上のビデオを備えた大規模データセットを2つ導入した。 Video Cognitive Empathyデータセットには、微粒な感情応答の分布のためのアノテーションが含まれており、モデルが感情状態の詳細な理解を得ることができる。 Video to Valenceデータセットには、ビデオ間の相対的な快適性のアノテーションが含まれている。
  論文  参考訳（メタデータ） (2022-10-18T17:58:25Z)
• APES: Audiovisual Person Search in Untrimmed Video [87.4124877066541]
  音声人物探索データセット(APES)について述べる。 APESには36時間のビデオにラベル付けされた1,9K以上のIDが含まれている。 APESの重要な特徴は、顔と同一アイデンティティの音声セグメントをリンクする密集した時間アノテーションを含むことである。
  論文  参考訳（メタデータ） (2021-06-03T08:16:42Z)
• Grading video interviews with fairness considerations [1.7403133838762446]
  本稿では,質問に対するビデオ応答に基づいて,候補者の社会的スキルを自動的に導き出す手法を提案する。 社会的スキルを予測するための2つの機械学習モデルを開発した。 我々は、人種と性別によるモデルの誤りを研究することによって、公正さを分析する。
  論文  参考訳（メタデータ） (2020-07-02T10:06:13Z)
• Investigating Bias in Deep Face Analysis: The KANFace Dataset and Empirical Study [67.3961439193994]
  現在までに最も包括的で大規模な顔画像とビデオのデータセットを導入している。 データは、アイデンティティ、正確な年齢、性別、親族関係の点で手動で注釈付けされる。 提案したベンチマークでネットワーク埋め込みをデバイアス化する手法を導入し,テストした。
  論文  参考訳（メタデータ） (2020-05-15T00:14:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。