論文の概要: Robust Bias Detection in MLMs and its Application to Human Trait Ratings
- arxiv url: http://arxiv.org/abs/2502.15600v1
- Date: Fri, 21 Feb 2025 17:18:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-24 16:09:44.735830
- Title: Robust Bias Detection in MLMs and its Application to Human Trait Ratings
- Title（参考訳）: MLMにおけるロバストバイアス検出と人為的評価への応用
- Authors: Ingroj Shrestha, Louis Tay, Padmini Srinivasan,
- Abstract要約: 混合モデルを用いてバイアスを定量化するための統計的手法を提案する。
我々は、$textitpersonality$と$textitcharacter$ traitsという文脈でジェンダーバイアスの新たな問題を探求する。
ALBERTは二分性には偏りがないが、非二分性には最も偏りがあるのに対して、RoBERTa-largeは二分性には最も偏りがあるが、$textitneo$には偏りがない。
- 参考スコア（独自算出の注目度）: 10.067718208225203
- License:
- Abstract: There has been significant prior work using templates to study bias against demographic attributes in MLMs. However, these have limitations: they overlook random variability of templates and target concepts analyzed, assume equality amongst templates, and overlook bias quantification. Addressing these, we propose a systematic statistical approach to assess bias in MLMs, using mixed models to account for random effects, pseudo-perplexity weights for sentences derived from templates and quantify bias using statistical effect sizes. Replicating prior studies, we match on bias scores in magnitude and direction with small to medium effect sizes. Next, we explore the novel problem of gender bias in the context of $\textit{personality}$ and $\textit{character}$ traits, across seven MLMs (base and large). We find that MLMs vary; ALBERT is unbiased for binary gender but the most biased for non-binary $\textit{neo}$, while RoBERTa-large is the most biased for binary gender but shows small to no bias for $\textit{neo}$. There is some alignment of MLM bias and findings in psychology (human perspective) - in $\textit{agreeableness}$ with RoBERTa-large and $\textit{emotional stability}$ with BERT-large. There is general agreement for the remaining 3 personality dimensions: both sides observe at most small differences across gender. For character traits, human studies on gender bias are limited thus comparisons are not feasible.
- Abstract（参考訳）: MLMの人口統計特性に対する偏見を研究するためにテンプレートを用いた先行研究が盛んに行われている。
しかし、これらには制限があり、テンプレートと対象概念のランダムな変数を見落とし、テンプレート間の等式を仮定し、バイアスの定量化を見落としている。
そこで本稿では,MLMにおけるバイアス評価の体系的統計的アプローチを提案し,確率的効果を考慮した混合モデル,テンプレートから派生した文の擬似パープレキシティ重み,統計的効果サイズを用いたバイアスの定量化を提案する。
先行研究を再現し, 偏差スコアの程度と方向を小～中程度の効果の大きさで比較した。
次に,7つのMLM(ベースと大)にまたがる,$\textit{personality}$と$\textit{character}$ traitsの文脈において,性別バイアスの新たな問題を探求する。
ALBERTは二分性には偏りがないが、非二分性には最も偏りがあるのに対して、RoBERTa-largeは二分性には最も偏りがあるが、$\textit{neo}$には小さいか、全く偏りがない。
MLMバイアスと心理学(人間の視点)の発見のアライメントがある - $\textit{agreeableness}$ with RoBERTa-large and $\textit{emotional stability}$ with BERT-large。
残りの3つの人格次元には一般的な合意があり、両者は性別によって最も小さな違いを観察する。
性格特性については、性別バイアスに関する人間の研究は限られており、比較は不可能である。
関連論文リスト
- On Fairness of Unified Multimodal Large Language Model for Image Generation [19.122441856516215]
最新のU-MLLMをベンチマークした結果、ほとんどの場合、性別や人種バイアスなど、大きな人口統計バイアスが示されることがわかった。
我々の分析は、偏見は主に言語モデルに由来することを示している。
本稿では、人口分布と合成データとのバランスをとるために、新しいバランスの取れた選好モデルを提案する。
論文 参考訳（メタデータ） (2025-02-05T18:21:03Z) - Attention Speaks Volumes: Localizing and Mitigating Bias in Language Models [15.53216696218776]
本稿では,大きな言語モデル(LLM)において,曖昧な比較プロンプトが提供される場合のバイアスの発生メカニズムについて検討する。
本稿では,LLMの特定の層にバイアスを局所化する手法である$textttATLAS$を提案する。
論文 参考訳（メタデータ） (2024-10-29T20:15:56Z) - With a Grain of SALT: Are LLMs Fair Across Social Dimensions? [3.5001789247699535]
本稿では,ジェンダー,宗教,人種にまたがるオープンソースのLarge Language Models(LLM)におけるバイアスの系統的分析について述べる。
私たちはSALTデータセットを使用して,General Debate, positioned Debate, Career Advice, Problem Solving, CV Generationという,5つの異なるバイアストリガを組み込んでいます。
以上の結果から, モデル間で一貫した分極が明らかとなり, 組織的に好意的あるいは好ましくない治療を受ける集団が存在する。
論文 参考訳（メタデータ） (2024-10-16T12:22:47Z) - GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。
ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。
既存のLVLMでは男女差が広くみられた。
論文 参考訳（メタデータ） (2024-06-30T05:55:15Z) - VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
我々は、LVLM(Large Vision-Language Models)におけるバイアスを評価するベンチマークであるVLBiasBenchを紹介する。
VLBiasBenchは、年齢、障害ステータス、性別、国籍、身体的外観、人種、宗教、職業、社会経済ステータスを含む9つの異なる社会バイアスのカテゴリを含むデータセットと、人種x性別と人種x社会経済ステータスの2つの交叉バイアスのカテゴリを含む。
15のオープンソースモデルと2つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルに存在するバイアスに関する新たな洞察を得る。
論文 参考訳（メタデータ） (2024-06-20T10:56:59Z) - JobFair: A Framework for Benchmarking Gender Hiring Bias in Large Language Models [12.12628747941818]
本稿では,Large Language Models (LLMs) における階層的ジェンダー採用バイアスのベンチマークを行うための新しいフレームワークを提案する。
我々は、労働経済学、法原則、現在のバイアスベンチマークの批判に根ざした新しい構成を導入する。
我々は、現在最先端の10のLCMにおける性別採用バイアスを分析する。
論文 参考訳（メタデータ） (2024-06-17T09:15:57Z) - Disclosure and Mitigation of Gender Bias in LLMs [64.79319733514266]
大規模言語モデル(LLM)はバイアス応答を生成することができる。
条件生成に基づく間接探索フレームワークを提案する。
LLMにおける明示的・暗黙的な性バイアスを明らかにするための3つの戦略を探求する。
論文 参考訳（メタデータ） (2024-02-17T04:48:55Z) - Quantifying Bias in Text-to-Image Generative Models [49.60774626839712]
テキスト・トゥ・イメージ(T2I)モデルにおけるバイアスは不公平な社会的表現を伝播させ、アイデアを積極的にマーケティングしたり、議論の的となっている議題を推進したりするのに用いられる。
既存のT2Iモデルバイアス評価手法は、社会的バイアスのみに焦点を当てる。
本稿では,T2I生成モデルにおける一般バイアスの定量化手法を提案する。
論文 参考訳（メタデータ） (2023-12-20T14:26:54Z) - The Impact of Debiasing on the Performance of Language Models in
Downstream Tasks is Underestimated [70.23064111640132]
我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。
実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
論文 参考訳（メタデータ） (2023-09-16T20:25:34Z) - Causally Testing Gender Bias in LLMs: A Case Study on Occupational Bias [33.99768156365231]
生成言語モデルにおけるバイアス測定のための因果的定式化を導入する。
我々はOccuGenderというベンチマークを提案し、職業性バイアスを調査するためのバイアス測定手法を提案する。
以上の結果から,これらのモデルでは職業性バイアスがかなり大きいことが示唆された。
論文 参考訳（メタデータ） (2022-12-20T22:41:24Z) - Multi-Dimensional Gender Bias Classification [67.65551687580552]
機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。
本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。
このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
論文 参考訳（メタデータ） (2020-05-01T21:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。