論文の概要: Unequal Verdicts: Investigating Gender Bias in LLM-Based Fake News Detection
- arxiv url: http://arxiv.org/abs/2608.03627v1
- Date: Tue, 04 Aug 2026 13:14:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.201605
- Title: Unequal Verdicts: Investigating Gender Bias in LLM-Based Fake News Detection
- Title(参考訳): LLMに基づくフェイクニュース検出におけるジェンダーバイアスの調査
- Abstract要約: 本研究では,Large Language Models (LLMs) を用いた実世界データを用いた偽ニュース検出において,性別バイアスを初めて体系的に検討した。
本研究はLIARベンチマークを,各文に対して3種類の性差のある話者職名を用いて拡張し,性別提示のみに基づいて妥当性判断が変化するかどうかを検証した。
9.79%-35.13%の文は3つの変種で矛盾するラベルを受け取っており、男性と女性の比較では6.5%-23.6%のフリップ率を示している。
- 参考スコア(独自算出の注目度): 2.8866345167758145
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are increasingly used for automated fact-checking, yet their susceptibility to gender bias in this context remains underexplored. This study presents the first systematic investigation of gender bias in LLM-based fake news detection using real-world data. We augment the LIAR benchmark with three gender variants of speaker job titles (Neutral, Male, Female) for each statement to test whether veracity judgments vary solely based on gender presentation. Six state-of-the-art LLMs are evaluated across multiple bias and fairness metrics. All models exhibit gender sensitivity: 9.79%-35.13% of statements receive inconsistent labels across the three variants, with Male-Female comparisons showing 6.5%-23.6% flip rates. Two primary bias manifestations are identified: instability (inconsistent judgments) and directionality (systematic favoritism). Five models show statistically significant directional effects, with the strongest effects displaying male-skeptic patterns. These findings demonstrate that gender bias undermines both reliability and fairness in LLM-based fake news detection, highlighting the need for bias-aware evaluation and mitigation strategies. The augmented dataset is publicly released to support future research.
- Abstract(参考訳): 大規模言語モデル(LLM)は、自動化された事実チェックにますます使われていますが、この文脈での性別バイアスへの感受性は未解明のままです。
本研究では, LLMを用いた実世界データを用いた偽ニュース検出において, 性別バイアスを初めて体系的に検討した。
LIARベンチマークを3種類の性差(Neutral, Male, female)で拡張し, 性別提示のみに基づいて妥当性判断が変化するかどうかを検証した。
6つの最先端LCMを複数のバイアスと公平度で評価する。
9.79%-35.13%の文は3つの変種で矛盾するラベルを受け取っており、男性と女性の比較では6.5%-23.6%のフリップ率を示している。
主な偏見は、不安定性(一貫性のない判断)と方向性(体系的な好意)の2つである。
5つのモデルは統計的に有意な方向効果を示し、最も強い効果は男性懐疑的なパターンを示す。
以上の結果から,ジェンダーバイアスはLDMに基づく偽ニュース検出において信頼性と公平性を損なうことが示唆され,バイアス認識評価と緩和戦略の必要性が浮き彫りとなった。
拡張現実データセットは、将来の研究をサポートするために公開されている。
関連論文リスト
- Bias in Gender Bias Benchmarks: How Spurious Features Distort Evaluation [116.86965910589775]
対象物の10%だけをマスクしたり、背景が弱くぼやけたりといった、最小限の摂動でさえ、バイアススコアを劇的に変える可能性がある。
これは、現在のバイアス評価がモデル応答を、性別バイアスよりも刺激的な特徴に反映していることを示唆している。
論文 参考訳(メタデータ) (2025-09-09T11:14:11Z) - Measuring Bias or Measuring the Task: Understanding the Brittle Nature of LLM Gender Biases [2.9803250365852443]
本稿では, 課題評価の目的が, LLMの性別バイアスに与える影響について検討する。
ジェンダーバイアス(性偏見)の評価とより明確に一致していることが、ジェンダーの出力分布を区別する要因であることがわかった。
論文 参考訳(メタデータ) (2025-09-04T16:32:18Z) - Towards Fair Rankings: Leveraging LLMs for Gender Bias Detection and Measurement [6.92803536773427]
自然言語処理(NLP)と情報検索(IR)システムの社会的バイアスは、現在進行中の課題である。
我々は,大言語モデル(LLM)を利用して,通過ランクの性別バイアスを検出し,測定することで,この問題に対処することを目指している。
そこで我々は,既存の制約に対処するために,CWEx (Class-wise Weighted Exposure) という新しいジェンダーフェアネス尺度を導入する。
論文 参考訳(メタデータ) (2025-06-27T16:39:12Z) - The LLM Wears Prada: Analysing Gender Bias and Stereotypes through Online Shopping Data [8.26034886618475]
本研究では,オンラインショッピング履歴のみに基づいて,大規模言語モデルが個人の性別を予測できるかどうかを検討する。
米国ユーザーのオンライン購入履歴のデータセットを用いて、性別を分類する6つのLCMの能力を評価する。
結果は、モデルが適度な精度で性別を推測できる一方で、その決定は製品カテゴリーと性別のステレオタイプ的関連に根ざしていることを示している。
論文 参考訳(メタデータ) (2025-04-02T17:56:08Z) - Assessing Gender Bias in LLMs: Comparing LLM Outputs with Human Perceptions and Official Statistics [0.0]
本研究では,大言語モデル(LLM)における性別バイアスについて検討する。
我々は、その性別認識を、人間の回答者、米国労働統計局のデータ、および50%の非バイアスベンチマークと比較する。
論文 参考訳(メタデータ) (2024-11-20T22:43:18Z) - The Root Shapes the Fruit: On the Persistence of Gender-Exclusive Harms in Aligned Language Models [91.86718720024825]
我々はトランスジェンダー、ノンバイナリ、その他のジェンダー・ディバースのアイデンティティを中心とし、アライメント手順が既存のジェンダー・ディバースバイアスとどのように相互作用するかを検討する。
以上の結果から,DPO対応モデルは特に教師付き微調整に敏感であることが示唆された。
DPOとより広範なアライメントプラクティスに合わせたレコメンデーションで締めくくります。
論文 参考訳(メタデータ) (2024-11-06T06:50:50Z) - GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。
GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
論文 参考訳(メタデータ) (2024-08-22T15:35:46Z) - GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。
ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。
既存のLVLMでは男女差が広くみられた。
論文 参考訳(メタデータ) (2024-06-30T05:55:15Z) - Disclosure and Mitigation of Gender Bias in LLMs [64.79319733514266]
大規模言語モデル(LLM)はバイアス応答を生成することができる。
条件生成に基づく間接探索フレームワークを提案する。
LLMにおける明示的・暗黙的な性バイアスを明らかにするための3つの戦略を探求する。
論文 参考訳(メタデータ) (2024-02-17T04:48:55Z) - Probing Explicit and Implicit Gender Bias through LLM Conditional Text
Generation [64.79319733514266]
大規模言語モデル(LLM)はバイアスと有害な応答を生成する。
本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
論文 参考訳(メタデータ) (2023-11-01T05:31:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。