論文の概要: Where Fact Ends and Fairness Begins: Redefining AI Bias Evaluation through Cognitive Biases

• arxiv url: http://arxiv.org/abs/2502.05849v2
• Date: Fri, 19 Sep 2025 02:54:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 14:11:06.883896
• Title: Where Fact Ends and Fairness Begins: Redefining AI Bias Evaluation through Cognitive Biases
• Title（参考訳）: ファクトの終わりとフェアネス:認知バイアスによるAIバイアス評価の再定義
• Authors: Jen-tse Huang, Yuhang Yan, Linqi Liu, Yixin Wan, Wenxuan Wang, Kai-Wei Chang, Michael R. Lyu,
• Abstract要約: 事実と公正の境界を識別することは有意義な公正性評価に不可欠である,と我々は主張する。 Fact-or-Fair は (i) 客観的なクエリを記述的, 事実に基づく判断, (ii) 主観的クエリを規範的, 公平性に基づく判断に整合させたベンチマークである。
• 参考スコア（独自算出の注目度）: 77.3489598315447
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent failures such as Google Gemini generating people of color in Nazi-era uniforms illustrate how AI outputs can be factually plausible yet socially harmful. AI models are increasingly evaluated for "fairness," yet existing benchmarks often conflate two fundamentally different dimensions: factual correctness and normative fairness. A model may generate responses that are factually accurate but socially unfair, or conversely, appear fair while distorting factual reality. We argue that identifying the boundary between fact and fair is essential for meaningful fairness evaluation. We introduce Fact-or-Fair, a benchmark with (i) objective queries aligned with descriptive, fact-based judgments, and (ii) subjective queries aligned with normative, fairness-based judgments. Our queries are constructed from 19 statistics and are grounded in cognitive psychology, drawing on representativeness bias, attribution bias, and ingroup-outgroup bias to explain why models often misalign fact and fairness. Experiments across ten frontier models reveal different levels of fact-fair trade-offs. By reframing fairness evaluation, we provide both a new theoretical lens and a practical benchmark to advance the responsible model assessments. Our test suite is publicly available at https://github.com/uclanlp/Fact-or-Fair.
• Abstract（参考訳）: Google Geminiのような最近の失敗は、ナチス時代の制服で有色人種を発生させることで、AIのアウトプットが実際可能で社会的に有害であることを示している。 AIモデルは「公正さ」に対してますます評価されるが、既存のベンチマークでは、事実の正しさと規範の公正さという、根本的に異なる2つの側面が説明されることが多い。 モデルは事実的正確であるが社会的に不公平である応答を生成し、逆に事実的現実を歪めながら公平に見える。 事実と公正の境界を識別することは有意義な公正性評価に不可欠である,と我々は主張する。 ベンチマークのFact-or-Fairを紹介します。 一 記述的事実に基づく判断に整合した客観的クエリ、及び (二)規範的公正に基づく判断に一致した主観的クエリ。 我々のクエリは19の統計から構築され、認知心理学、代表性バイアス、帰属バイアス、グループ内偏見に基づいて、モデルがしばしば事実と公正を誤認する理由を説明する。 10のフロンティアモデルに対する実験では、ファクトフェアトレードオフのレベルが異なる。 公平性評価を緩和することにより、我々は、責任あるモデル評価を進めるために、新しい理論レンズと実用的なベンチマークの両方を提供する。 私たちのテストスイートはhttps://github.com/uclanlp/Fact-or-Fair.comで公開されています。

関連論文リスト

• Surface Fairness, Deep Bias: A Comparative Study of Bias in Language Models [49.41113560646115]
  大規模言語モデル(LLM)におけるバイアスの様々なプロキシ尺度について検討する。 MMLU (Multi-subject benchmark) を用いた人格評価モデルでは, スコアの無作為かつ大半がランダムな差が生じることがわかった。 LLMアシスタントメモリとパーソナライゼーションの最近の傾向により、これらの問題は異なる角度から開かれている。
  論文  参考訳（メタデータ） (2025-06-12T08:47:40Z)
• On the Fairness, Diversity and Reliability of Text-to-Image Generative Models [68.62012304574012]
  マルチモーダル生成モデルは 信頼性 公正性 誤用の可能性について 批判的な議論を巻き起こしました 埋め込み空間におけるグローバルおよびローカルな摂動に対する応答を解析し、モデルの信頼性を評価するための評価フレームワークを提案する。 提案手法は, 信頼できない, バイアス注入されたモデルを検出し, 組込みバイアスの証明をトレースするための基礎となる。
  論文  参考訳（メタデータ） (2024-11-21T09:46:55Z)
• Dataset Scale and Societal Consistency Mediate Facial Impression Bias in Vision-Language AI [17.101569078791492]
  43のCLIP視覚言語モデルを用いて、人間の顔の印象バイアスを学習するかどうかを検証した。 社会全体でバイアスが共有される度合いがCLIPモデルに反映される度合いを予測するのはこれが初めてである。
  論文  参考訳（メタデータ） (2024-08-04T08:26:58Z)
• "Patriarchy Hurts Men Too." Does Your Model Agree? A Discussion on Fairness Assumptions [3.706222947143855]
  グループフェアネスの文脈では、このアプローチはデータへのバイアスの導入方法に関する暗黙の仮定を曖昧にすることが多い。 我々は偏りの過程が公正スコアの単調関数であり、感度属性のみに依存すると仮定している。 偏見過程の振舞いは単なる単調性よりも複雑であり、つまり暗黙の仮定を特定し、否定する必要がある。
  論文  参考訳（メタデータ） (2024-08-01T07:06:30Z)
• Subtle Biases Need Subtler Measures: Dual Metrics for Evaluating Representative and Affinity Bias in Large Language Models [10.73340009530019]
  本研究は,Large Language Models (LLMs) における2つのバイアス,代表バイアスと親和性バイアスに対処する。 我々は,これらのバイアスを測定するために,代表バイアススコア(RBS)と親和性バイアススコア(ABS)の2つの新しい指標を導入する。 我々の分析では、白人、ストレート、男性と関連する身元を選好する著名なLSMにおいて、顕著な偏見が明らかとなった。 親和性バイアスによる各モデルにおける特徴的評価パターンの解明
  論文  参考訳（メタデータ） (2024-05-23T13:35:34Z)
• Quantifying Bias in Text-to-Image Generative Models [49.60774626839712]
  テキスト・トゥ・イメージ(T2I)モデルにおけるバイアスは不公平な社会的表現を伝播させ、アイデアを積極的にマーケティングしたり、議論の的となっている議題を推進したりするのに用いられる。 既存のT2Iモデルバイアス評価手法は、社会的バイアスのみに焦点を当てる。 本稿では,T2I生成モデルにおける一般バイアスの定量化手法を提案する。
  論文  参考訳（メタデータ） (2023-12-20T14:26:54Z)
• Social Bias Probing: Fairness Benchmarking for Language Models [38.180696489079985]
  本稿では,社会的偏見を考慮した言語モデル構築のための新しい枠組みを提案する。 既存のフェアネスコレクションの制限に対処するために設計された大規模なベンチマークであるSoFaをキュレートする。 我々は、言語モデル内のバイアスが認識されるよりもニュアンスが高いことを示し、これまで認識されていたよりもより広く符号化されたバイアスの範囲を示している。
  論文  参考訳（メタデータ） (2023-11-15T16:35:59Z)
• Learning for Counterfactual Fairness from Observational Data [62.43249746968616]
  公正な機械学習は、人種、性別、年齢などの特定の保護された(感受性のある)属性によって記述されるある種のサブグループに対して、学習モデルのバイアスを取り除くことを目的としている。 カウンターファクトフェアネスを達成するための既存の手法の前提条件は、データに対する因果モデルの事前の人間の知識である。 本研究では,新しいフレームワークCLAIREを提案することにより,因果関係を付与せずに観測データから対実的に公正な予測を行う問題に対処する。
  論文  参考訳（メタデータ） (2023-07-17T04:08:29Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)
• DualFair: Fair Representation Learning at Both Group and Individual Levels via Contrastive Self-supervision [73.80009454050858]
  この研究は、DualFairと呼ばれる自己教師型モデルを提示し、学習された表現から性別や人種などのセンシティブな属性をデバイアスすることができる。 我々のモデルは、グループフェアネスと対実フェアネスという2つのフェアネス基準を共同で最適化する。
  論文  参考訳（メタデータ） (2023-03-15T07:13:54Z)
• UnQovering Stereotyping Biases via Underspecified Questions [68.81749777034409]
  未特定質問からバイアスを探索・定量化するためのフレームワークUNQOVERを提案する。 モデルスコアの素直な使用は,2種類の推論誤差による誤ったバイアス推定につながる可能性があることを示す。 我々はこの指標を用いて、性別、国籍、民族、宗教の4つの重要なステレオタイプの分析を行う。
  論文  参考訳（メタデータ） (2020-10-06T01:49:52Z)
• Grading video interviews with fairness considerations [1.7403133838762446]
  本稿では,質問に対するビデオ応答に基づいて,候補者の社会的スキルを自動的に導き出す手法を提案する。 社会的スキルを予測するための2つの機械学習モデルを開発した。 我々は、人種と性別によるモデルの誤りを研究することによって、公正さを分析する。
  論文  参考訳（メタデータ） (2020-07-02T10:06:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。