論文の概要: Social perception of faces in a vision-language model

• arxiv url: http://arxiv.org/abs/2408.14435v1
• Date: Mon, 26 Aug 2024 17:21:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 13:12:07.838544
• Title: Social perception of faces in a vision-language model
• Title（参考訳）: 視覚言語モデルにおける顔の社会的知覚
• Authors: Carina I. Hausladen, Manuel Knott, Colin F. Camerer, Pietro Perona,
• Abstract要約: オープンソースの視覚言語モデルであるCLIPにおける人間の顔の社会的知覚について検討する。 年齢、性別、人種は、CLIPの社会的知覚に体系的に影響を及ぼす。 黒人女性の顔には強い偏見パターンがある。
• 参考スコア（独自算出の注目度）: 11.933952003478172
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We explore social perception of human faces in CLIP, a widely used open-source vision-language model. To this end, we compare the similarity in CLIP embeddings between different textual prompts and a set of face images. Our textual prompts are constructed from well-validated social psychology terms denoting social perception. The face images are synthetic and are systematically and independently varied along six dimensions: the legally protected attributes of age, gender, and race, as well as facial expression, lighting, and pose. Independently and systematically manipulating face attributes allows us to study the effect of each on social perception and avoids confounds that can occur in wild-collected data due to uncontrolled systematic correlations between attributes. Thus, our findings are experimental rather than observational. Our main findings are three. First, while CLIP is trained on the widest variety of images and texts, it is able to make fine-grained human-like social judgments on face images. Second, age, gender, and race do systematically impact CLIP's social perception of faces, suggesting an undesirable bias in CLIP vis-a-vis legally protected attributes. Most strikingly, we find a strong pattern of bias concerning the faces of Black women, where CLIP produces extreme values of social perception across different ages and facial expressions. Third, facial expression impacts social perception more than age and lighting as much as age. The last finding predicts that studies that do not control for unprotected visual attributes may reach the wrong conclusions on bias. Our novel method of investigation, which is founded on the social psychology literature and on the experiments involving the manipulation of individual attributes, yields sharper and more reliable observations than previous observational methods and may be applied to study biases in any vision-language model.
• Abstract（参考訳）: オープンソースの視覚言語モデルであるCLIPにおける人間の顔の社会的知覚について検討する。 この目的のために、異なるテキストプロンプトと一連の顔画像とのCLIP埋め込みの類似性を比較する。 我々のテキスト・プロンプトは、社会的知覚を示す社会的心理学用語から成り立っている。 顔画像は合成され、年齢、性別、人種の法的保護された属性、表情、照明、ポーズの6つの次元に沿って、体系的に、独立的に異なる。 顔の属性を独立かつ体系的に操作することで、それぞれの特性が社会的知覚に与える影響を研究でき、属性間の非制御的な体系的相関により、野生の収集データで起こりうる矛盾を避けることができる。 したがって,本研究の成果は観察的ではなく実験的である。 主な発見は3つです。 第一に、CLIPは多種多様な画像やテキストで訓練されているが、顔画像上で人間のようなきめ細かい社会的判断をすることができる。 第二に、年齢、性別、人種はCLIPの顔に対する社会的認識に体系的に影響を与え、CLIP vis-a-vis の法的に保護された属性に対する望ましくない偏見を示唆している。 最も顕著なことに、私たちは黒人女性の顔に関する強い偏見パターンを見つけ、そこでCLIPは年齢や表情の異なる社会的知覚の極端な価値を生み出します。 第3に、表情は年齢よりも社会的知覚に影響を及ぼし、照明は年齢にも及ばない。 最後の発見は、保護されていない視覚特性を制御していない研究が、バイアスに関する間違った結論に達する可能性があることを予測している。 本研究は,社会心理学の文献と個々の属性の操作に関する実験に基づいて,従来の観察方法よりも鋭く,信頼性の高い観察結果が得られるとともに,任意の視覚言語モデルにおけるバイアスの研究にも適用することができる。

関連論文リスト

• Dataset Scale and Societal Consistency Mediate Facial Impression Bias in Vision-Language AI [17.101569078791492]
  43のCLIP視覚言語モデルを用いて、人間の顔の印象バイアスを学習するかどうかを検証した。 社会全体でバイアスが共有される度合いがCLIPモデルに反映される度合いを予測するのはこれが初めてである。
  論文  参考訳（メタデータ） (2024-08-04T08:26:58Z)
• Robustness Disparities in Face Detection [64.71318433419636]
  本稿では,その顔検出システムの詳細なベンチマークとして,商業モデルと学術モデルのノイズに対する頑健性について検討する。 すべてのデータセットやシステム全体で、$textitmasculineである個人の写真が$textitdarker skin type$$$、$textitdarker$、または$textitdim lighting$は、他のIDよりもエラーの影響を受けやすい。
  論文  参考訳（メタデータ） (2022-11-29T05:22:47Z)
• Explaining Bias in Deep Face Recognition via Image Characteristics [9.569575076277523]
  2つのデータセットのセキュリティとユーザビリティの観点から,10種類の最先端の顔認識モデルを評価し,その妥当性を比較した。 次に,画像特性がモデル性能に与える影響を解析する。
  論文  参考訳（メタデータ） (2022-08-23T17:18:23Z)
• CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial Expression Recognition [80.07590100872548]
  本稿では、顔エンコーダの最後の層に異なるデータセットの特定の感情特性を適応させるメカニズムであるContrastive Inhibitory Adaptati On(CIAO)を提案する。 CIAOは、非常にユニークな感情表現を持つ6つの異なるデータセットに対して、表情認識性能が改善されている。
  論文  参考訳（メタデータ） (2022-08-10T15:46:05Z)
• Are Commercial Face Detection Models as Biased as Academic Models? [64.71318433419636]
  我々は学術的および商業的な顔検出システムを比較し、特にノイズに対する堅牢性について検討する。 現状の学術的顔検出モデルでは、ノイズの頑健性に人口格差があることがわかった。 私たちは、商用モデルは、常に学術モデルと同じくらいの偏り、あるいはより偏りがある、と結論付けます。
  論文  参考訳（メタデータ） (2022-01-25T02:21:42Z)
• Measuring Hidden Bias within Face Recognition via Racial Phenotypes [21.74534280021516]
  本研究は、顔認識のための顔表現型属性を用いた、代替的な人種的偏見分析手法を提案する。 顔認識タスクにおける属性の個人的影響を調べるための分類的テストケースを提案する。
  論文  参考訳（メタデータ） (2021-10-19T10:46:59Z)
• I Only Have Eyes for You: The Impact of Masks On Convolutional-Based Facial Expression Recognition [78.07239208222599]
  今回提案したFaceChannelがマスクを持つ人からの表情認識にどのように適応するかを評価します。 また、制約された社会的相互作用シナリオにおける顔の特徴の変化を学習し、組み合わせるためのFaceChannelの本質的な能力を示すために、特定の機能レベルの可視化も行います。
  論文  参考訳（メタデータ） (2021-04-16T20:03:30Z)
• Facial Expressions as a Vulnerability in Face Recognition [73.85525896663371]
  本研究では,顔認識システムのセキュリティ脆弱性としての表情バイアスについて検討する。 本稿では,表情バイアスが顔認識技術の性能に与える影響を包括的に分析する。
  論文  参考訳（メタデータ） (2020-11-17T18:12:41Z)
• Learning Emotional-Blinded Face Representations [77.7653702071127]
  感情反応に関連する表情に盲目な2つの顔表現を提案する。 この作業は、個人データ保護に関する新たな国際規則によって動機付けられている。
  論文  参考訳（メタデータ） (2020-09-18T09:24:10Z)
• A Set of Distinct Facial Traits Learned by Machines Is Not Predictive of Appearance Bias in the Wild [3.0349733976070015]
  我々は、社会心理学者によって測定された他の顔の人格特性に対する最初の印象に基づく学習モデルを訓練する。 FaceNetで抽出した特徴は、故意に操作された顔に対する人間の外見バイアススコアを予測するのに利用できる。 社会心理学における人間の偏見を扱うのとは対照的に、このモデルでは政治家の票共有と能力バイアスを関連づける重要なシグナルは見つからない。
  論文  参考訳（メタデータ） (2020-02-13T17:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。