論文の概要: Demographic Fairness in Multimodal LLMs: A Benchmark of Gender and Ethnicity Bias in Face Verification

• arxiv url: http://arxiv.org/abs/2603.25613v1
• Date: Thu, 26 Mar 2026 16:30:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:48.376949
• Title: Demographic Fairness in Multimodal LLMs: A Benchmark of Gender and Ethnicity Bias in Face Verification
• Title（参考訳）: マルチモーダルLCMのデモグラフィーフェアネス:顔認証における性別と倫理バイアスのベンチマーク
• Authors: Ünsal Öztürk, Hatef Otroshi Shahreza, Sébastien Marcel,
• Abstract要約: 顔認証システムとしてMLLM(Multimodal Large Language Models)が検討されている。 6つのモデルファミリーから9つのオープンソースMLLMを評価するベンチマーク研究を提案する。 以上の結果から,顔特定モデルであるFaceLLM-8Bは,両ベンチマークの汎用MLLMよりも有意に優れていた。
• 参考スコア（独自算出の注目度）: 39.17203445317177
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) have recently been explored as face verification systems that determine whether two face images are of the same person. Unlike dedicated face recognition systems, MLLMs approach this task through visual prompting and rely on general visual and reasoning abilities. However, the demographic fairness of these models remains largely unexplored. In this paper, we present a benchmarking study that evaluates nine open-source MLLMs from six model families, ranging from 2B to 8B parameters, on the IJB-C and RFW face verification protocols across four ethnicity groups and two gender groups. We measure verification accuracy with the Equal Error Rate and True Match Rate at multiple operating points per demographic group, and we quantify demographic disparity with four FMR-based fairness metrics. Our results show that FaceLLM-8B, the only face-specialised model in our study, substantially outperforms general-purpose MLLMs on both benchmarks. The bias patterns we observe differ from those commonly reported for traditional face recognition, with different groups being most affected depending on the benchmark and the model. We also note that the most accurate models are not necessarily the fairest and that models with poor overall accuracy can appear fair simply because they produce uniformly high error rates across all demographic groups.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、2つの顔画像が同一人物であるかどうかを判定する顔検証システムとして最近研究されている。 専用の顔認識システムとは異なり、MLLMは視覚的プロンプトを通じてこのタスクにアプローチし、一般的な視覚的および推論能力に依存している。 しかし、これらのモデルの人口統計学的公正性はほとんど解明されていない。 本稿では,4つの民族グループと2つの性別グループにまたがるIJB-CおよびRFW顔認証プロトコルを用いて,6つのモデルファミリーから9つのオープンソースMLLMを評価するベンチマーク研究を行う。 人口集団ごとの複数の操作点における等誤差率と真一致率を用いて検証精度を測定し、4つのFMRに基づく公正度測定値を用いて人口格差を定量化する。 以上の結果から,顔特定モデルであるFaceLLM-8Bは,両ベンチマークの汎用MLLMよりも有意に優れていた。 私たちが観察するバイアスパターンは、従来の顔認識でよく報告されるものと異なり、ベンチマークやモデルによって最も影響を受けています。 また、最も正確なモデルは必ずしも公平ではなく、全体精度の低いモデルは、すべての人口集団で一様に高いエラー率を発生させるため、公平に見えることに留意する。

関連論文リスト

• Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs [65.93003087656754]
  VisFactorは、よく確立された認知心理学評価から20の視覚中心のサブテストをデジタル化するベンチマークである。 GPT、Gemini、Claude、LLaMA、Qwen、SEEDファミリーから20のフロンティアマルチモーダル言語モデル(MLLM)を評価する。 最高のパフォーマンスモデルは100点中25.19点のスコアしか得られず、精神的な回転、空間的関係推論、図形の識別といったタスクに一貫して失敗する。
  論文  参考訳（メタデータ） (2025-02-23T04:21:32Z)
• Small Changes, Large Consequences: Analyzing the Allocational Fairness of LLMs in Hiring Contexts [19.20592062296075]
  大規模言語モデル(LLM)は、採用のような高度なアプリケーションにますますデプロイされている。 本研究は、実際の人事利用を反映した2つのタスクを通して、LLMベースの採用システムの割当公平性を検討する。
  論文  参考訳（メタデータ） (2025-01-08T07:28:10Z)
• GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
  本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。 ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。 既存のLVLMでは男女差が広くみられた。
  論文  参考訳（メタデータ） (2024-06-30T05:55:15Z)
• Social Bias Probing: Fairness Benchmarking for Language Models [38.180696489079985]
  本稿では,社会的偏見を考慮した言語モデル構築のための新しい枠組みを提案する。 既存のフェアネスコレクションの制限に対処するために設計された大規模なベンチマークであるSoFaをキュレートする。 我々は、言語モデル内のバイアスが認識されるよりもニュアンスが高いことを示し、これまで認識されていたよりもより広く符号化されたバイアスの範囲を示している。
  論文  参考訳（メタデータ） (2023-11-15T16:35:59Z)
• DualFair: Fair Representation Learning at Both Group and Individual Levels via Contrastive Self-supervision [73.80009454050858]
  この研究は、DualFairと呼ばれる自己教師型モデルを提示し、学習された表現から性別や人種などのセンシティブな属性をデバイアスすることができる。 我々のモデルは、グループフェアネスと対実フェアネスという2つのフェアネス基準を共同で最適化する。
  論文  参考訳（メタデータ） (2023-03-15T07:13:54Z)
• Towards Explaining Demographic Bias through the Eyes of Face Recognition Models [6.889667606945215]
  データとアルゴリズムの両方に固有のバイアスは、機械学習(ML)ベースの意思決定システムの公平性を最適以下にする。 我々は、異なる人口集団を処理する際に、顔認識モデルの振る舞いの違いを分析する一連の説明可能性ツールを提供することを目標としている。 我々は、アクティベーションマップに基づく高次統計情報を活用して、FRモデルの行動差を特定の顔領域に関連付ける説明可能性ツールを構築する。
  論文  参考訳（メタデータ） (2022-08-29T07:23:06Z)
• Are Commercial Face Detection Models as Biased as Academic Models? [64.71318433419636]
  我々は学術的および商業的な顔検出システムを比較し、特にノイズに対する堅牢性について検討する。 現状の学術的顔検出モデルでは、ノイズの頑健性に人口格差があることがわかった。 私たちは、商用モデルは、常に学術モデルと同じくらいの偏り、あるいはより偏りがある、と結論付けます。
  論文  参考訳（メタデータ） (2022-01-25T02:21:42Z)
• Mitigating Face Recognition Bias via Group Adaptive Classifier [53.15616844833305]
  この研究は、全てのグループの顔がより平等に表現できる公正な顔表現を学ぶことを目的としている。 我々の研究は、競争精度を維持しながら、人口集団間での顔認識バイアスを軽減することができる。
  論文  参考訳（メタデータ） (2020-06-13T06:43:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。