論文の概要: FairLens: Benchmarking Fairness in Vision-Language Models for High-Stakes Decision-Making
- arxiv url: http://arxiv.org/abs/2609.01691v1
- Date: Tue, 01 Sep 2026 16:06:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:17.700152
- Title: FairLens: Benchmarking Fairness in Vision-Language Models for High-Stakes Decision-Making
- Title（参考訳）: FairLens: 高精度意思決定のためのビジョンランゲージモデルのベンチマークフェアネス
- Abstract要約: 視覚言語モデル(VLM)を,雇用,法的,医療の3つの領域で評価する。
第一の失敗は不平等な治療ではなく、不当な推論であることがわかった。
公平な高感度VLM動作には,グループ間での同様の処理が必要であり,高感度特性を外観から推測することを拒否した。
- 参考スコア（独自算出の注目度）: 7.808503191719903
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language models (VLMs) are increasingly used to make decisions from visual inputs. We introduce FAIRLENS, a benchmark and evaluation framework for measuring both the fairness and the validity of VLM responses in three high-stakes domains: hiring, legal, and healthcare. FAIRLENS pairs real face images spanning gender, race, and age groups with closed- and open-ended questions, giving more than 100K image-question pairs per model, and evaluates responses from four complementary views: demographic parity over adverse outcome rates, soundness, demographic association over unsupported roles and statuses, and bias in free-text generation. Soundness is the central validity criterion: a response is sound when it follows the evidence stated in the question and abstains when the image cannot support an answer. Evaluating eight VLMs, we find that the primary failure is unwarranted inference rather than unequal treatment. Models routinely infer qualifications, threat, illness, or professional role from a face instead of abstaining, and the weakest model does so on 99% of the questions its input cannot answer. These failures are most severe in legal and healthcare, where recognizing insufficient evidence matters most, and disparity metrics alone would miss them: parity gaps are small in absolute terms, yet when baseline adverse rates are low the same gap means one demographic group receives adverse labels several times as often as another, and a small gap can equally reflect a model that treats every group unsafely. Bias in free-text responses is only loosely coupled to multiple-choice accuracy, so correct structured answers do not imply safe generation. FAIRLENS shows that fair high-stakes VLM behavior requires similar treatment across groups and refusal to infer high-stakes attributes from appearance, and its question suite transfers to any face corpus with demographic annotations.
- Abstract（参考訳）: 視覚言語モデル(VLM)は、視覚入力から決定を下すためにますます使われる。
FAIRLENSは、雇用、法的、医療の3つの領域において、VLM応答の公平性と妥当性の両方を測定するためのベンチマークおよび評価フレームワークである。
FAIRLENSは、性別、人種、年齢グループにまたがる実際の顔画像と、クローズドでオープンな質問と、モデルごとに100万枚以上の画像検索ペアを与え、さらに4つの相補的な見解から回答を評価する。
正当性は中心的な妥当性基準である: 応答は、質問に記載された証拠に従うときの正当性であり、その画像が答えを支持できないときの棄権である。
8つのVLMを評価すると、一次故障は不平等な治療ではなく、不確実な推論であることがわかった。
モデルは通常、失格ではなく顔から資格、脅威、病気、職業的役割を推測するが、最も弱いモデルは入力が答えられない質問の99%に当てはまる。
パリティの格差は絶対的に小さいが、ベースラインの悪さ率が低い場合、同じギャップは、ある人口集団が別の人口集団の何倍も有害なラベルを受け取っており、小さなギャップはすべてのグループを安全でない方法で扱うモデルに等しく反映できることを意味している。
自由文応答のバイアスは、多重選択精度にのみ緩く結合されるため、正しい構造化された答えは、安全な生成を示唆しない。
FAIRLENSは、公平な高いVLM行動は、グループ間でも同様の処理を必要とし、外観から高い属性を推測することを拒み、その質問スイートは、人口統計学的アノテーションを持つ任意の顔コーパスに転送されることを示している。
関連論文リスト
- FairForensics: Seeing Expressions and Parsing Demographics via Vision-Language Modeling for Generalizable Fair Deepfake Detection [60.2868121662026]
既存のフェアネスを増強した検出器は、しばしば人口統計群全体にわたって目に見えない操作とフェアネスの最適下一般化に悩まされる。
我々は、バランスの取れない人口シナリオと不均衡な人口シナリオの両方の下で、検出器の公平性を訓練し、評価するために、新しい人口動態バランスFDDベンチマークを構築した。
また,FairForensicsと呼ばれる新しい表現と階層型視覚言語モデルを導入する。
論文 参考訳（メタデータ） (2026-08-03T03:51:14Z) - Measuring Social Bias in Vision-Language Models with Face-Only Counterfactuals from Real Photos [79.03150233804458]
現実のイメージは人種と性別を混在させ、背景や衣服などの関連要因や属性を隠蔽する。
テキストのみの対実的評価パラダイムを提案する。
我々は、人種や性別に関連する顔属性のみを編集し、他の視覚的要素を全て固定することで、反事実的変異を生成する。
論文 参考訳（メタデータ） (2026-01-11T14:35:06Z) - Bias in the Picture: Benchmarking VLMs with Social-Cue News Images and LLM-as-Judge Assessment [8.451522319478512]
各種コンセントから抽出された1,343枚の画像検索ペアからなるニューズ画像ベンチマークを導入する。
我々は、最先端のVLMの評価を行い、人間の検証を伴って、大きな言語モデル(LLM)を判断に用いた。
その結果, (i) 視覚的文脈は, モデル出力をオープンエンド設定で体系的に変化させる; (ii) バイアスの頻度は属性やモデルによって異なり, 特に性別や職業のリスクが高い; (iii) より高い忠実度は必ずしも低いバイアスに対応しないことがわかった。
論文 参考訳（メタデータ） (2025-09-24T00:33:58Z) - Who's Asking? Investigating Bias Through the Lens of Disability Framed Queries in LLMs [2.722784054643991]
大規模言語モデル(LLM)は、ユーザの人口統計特性を、単独で推測する。
これらの推論を形作る際の障害の手がかりは、ほとんど未発見のままである。
そこで本研究では,障害条件による人口統計バイアスを,最先端の8つのLLMに対して,初めて体系的に評価した。
論文 参考訳（メタデータ） (2025-08-18T21:03:09Z) - DAIQ: Auditing Demographic Attribute Inference from Question in LLMs [3.1677998308405786]
大規模言語モデル(LLM)は、性別や人種などの人口特性が入力の中に明示的に存在するときに、社会的偏見を反映することが知られている。
しかし、それらのモデルが存在しない場合でも、これらのモデルは質問のフレーズだけでユーザーのアイデンティティを推測する。
本稿では,言語モデルで見過ごされた障害モードを監査するためのタスクおよびフレームワークであるDAIQを紹介する。
論文 参考訳（メタデータ） (2025-08-18T19:26:17Z) - Investigating Intersectional Bias in Large Language Models using Confidence Disparities in Coreference Resolution [5.061421107401101]
大規模言語モデル(LLM)は目覚ましいパフォーマンスを達成し、採用や受け入れといったリソース制約のあるコンテキストで意思決定支援ツールとして広く採用されている。
しかし、AIシステムは社会的バイアスを反映し、さらに悪化させることができるという科学的コンセンサスがあり、批判的な社会的文脈で使用される場合、アイデンティティに基づく害についての懸念が高まる。
本研究では,複数の識別軸が交差する際,異なる不利パターンを生じることを認識して,一軸の公平性評価を拡張し,交差バイアスを検証した。
論文 参考訳（メタデータ） (2025-08-09T22:24:40Z) - Revisiting LLM Value Probing Strategies: Are They Robust and Expressive? [81.49470136653665]
広範に利用されている3つの探索戦略における値表現の頑健さと表現性を評価する。
人口統計学的文脈は自由テキスト生成にはほとんど影響を与えず、モデルの値は値に基づく行動の好みと弱い相関しか示さない。
論文 参考訳（メタデータ） (2025-07-17T18:56:41Z) - Fair Deepfake Detectors Can Generalize [51.21167546843708]
共同設立者(データ分散とモデルキャパシティ)の制御により,公正な介入による一般化が向上することを示す。
この知見を応用して, 逆正当性重み付けとサブグループワイド特徴正規化を併用し, 新たなアライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・インセンティブ・インターベンション・インベンション・インテクション(DAID)を提案する。
DAIDは、いくつかの最先端技術と比較して、公平性と一般化の両方において一貫して優れた性能を達成する
論文 参考訳（メタデータ） (2025-07-03T14:10:02Z) - My Answer Is NOT 'Fair': Mitigating Social Bias in Vision-Language Models via Fair and Biased Residuals [6.321884145362591]
我々は,モデルの応答と確率分布の両方に対する社会的バイアスの評価と緩和に焦点をあてる。
モデルがジェンダーバイアスや人種バイアスの反応を発生させることに悩まされていることがわかりました。
本稿では,学習自由でモデルに依存しない,社会的偏見を軽減するための推論段階のポストホック手法を提案する。
論文 参考訳（メタデータ） (2025-05-26T15:14:16Z) - Mitigating Subgroup Disparities in Multi-Label Speech Emotion Recognition: A Pseudo-Labeling and Unsupervised Learning Approach [53.824673312331626]
Implicit Demography Inference (IDI)モジュールは、k平均クラスタリングを用いて、音声感情認識(SER)におけるバイアスを軽減する
実験により、擬似ラベルIDIはサブグループの格差を減らし、フェアネスの指標を28%以上改善することが示された。
教師なしのIDIは、SERのパフォーマンスが3.6%未満のフェアネス指標を4.6%以上改善する。
論文 参考訳（メタデータ） (2025-05-20T14:50:44Z) - GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。
ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。
既存のLVLMでは男女差が広くみられた。
論文 参考訳（メタデータ） (2024-06-30T05:55:15Z) - Mitigating Face Recognition Bias via Group Adaptive Classifier [53.15616844833305]
この研究は、全てのグループの顔がより平等に表現できる公正な顔表現を学ぶことを目的としている。
我々の研究は、競争精度を維持しながら、人口集団間での顔認識バイアスを軽減することができる。
論文 参考訳（メタデータ） (2020-06-13T06:43:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。