論文の概要: LLMs Cannot Be Neutral: Gender Sensitivity Across Candidates, Evaluators, and Models

• arxiv url: http://arxiv.org/abs/2611.02692v1
• Date: Mon, 02 Nov 2026 07:41:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.577067
• Title: LLMs Cannot Be Neutral: Gender Sensitivity Across Candidates, Evaluators, and Models
• Title（参考訳）: LLMは中立ではない - 候補、評価者、モデル全体での性感受性
• Abstract要約: LLM-as-a-Judge(LaJ)モデルとDLM(Deciment Language Model)による決定に、候補者と評価者がどう影響するかを検討する。 明示的候補性ラベルは、不特定性に対するYes-voteの確率を1.05-1.73ポイント増加させ、非二項評価器の割り当ては、有意な増加(1.26ポイント)を示した。 yes-voteレートはモデルによって異なる(81.3-97.2%)。
• 参考スコア（独自算出の注目度）: 19.071723886380223
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) are increasingly used to evaluate candidates for professional roles, raising concerns about their sensitivity to demographic identities. We examine how candidate and evaluator gender assignments affect decisions by LLM-as-a-Judge (LaJ) models and decision language models (DLMs). In a hypothetical city council voting task, eight models evaluated 240 synthetic professional narratives from NVIDIA's US and French Nemotron-Personas datasets under independently varied gender assignments, producing 30,720 judgments. Explicit candidate gender labels increased Yes-vote probability by 1.05-1.73 percentage points relative to unspecified gender, while only the nonbinary evaluator assignment showed a significant increase (1.26 points). Identity matching showed no significant overall association. Yes-vote rates varied across models (81.3-97.2%), and 2.5-3.3% of decisions reversed relative to the unspecified-identity baseline. Under direct substitutions between explicit gender identities, DLMs exhibited fewer decision reversals than LaJ models (1.18% vs. 3.38%), indicating lower observed decision-level gender sensitivity among the tested DLMs. These findings demonstrate that gender sensitivity depends on candidate and evaluator identities and the evaluation model, while highlighting the importance of examining individual decision consistency alongside aggregate differences.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、職業的役割の候補を評価するためにますます使われており、人口統計学的アイデンティティに対する感受性に対する懸念が高まっている。 LLM-as-a-Judge(LaJ)モデルとDLM(Decicial Language Model)による決定に、候補者と評価者がどう影響するかを検討する。 仮説的な市議会投票のタスクでは、8つのモデルがNVIDIAの米国とフランスのネモトロン・パルマスのデータセットから240の合成プロの物語を、それぞれ異なる性別の割り当てで評価し、30,720の判断を下した。 明示的な候補性ラベルは、不特定性に対するYes-voteの確率を1.05-1.73ポイント増加させ、非二項評価器の割り当ては1.26ポイント増加させた。 同一性マッチングは, 全体として有意な関連性は認められなかった。 yes-voteレートはモデルによって異なる(81.3-97.2%)。 明示的な性同一性間の直接的な置換の下で、DLMはLaJモデル(1.18%対3.38%)よりも、決定レベルの性別感受性が低いことを示した。 これらの結果から, 性別感受性は, 対象者, 評価者の同一性, 評価モデルに左右され, 集団差とともに, 個人の意思決定の整合性を検討することの重要性を強調した。

関連論文リスト

• Unequal Verdicts: Investigating Gender Bias in LLM-Based Fake News Detection [2.8866345167758145]
  本研究では,Large Language Models (LLMs) を用いた実世界データを用いた偽ニュース検出において,性別バイアスを初めて体系的に検討した。 本研究はLIARベンチマークを,各文に対して3種類の性差のある話者職名を用いて拡張し,性別提示のみに基づいて妥当性判断が変化するかどうかを検証した。 9.79%-35.13%の文は3つの変種で矛盾するラベルを受け取っており、男性と女性の比較では6.5%-23.6%のフリップ率を示している。
  論文  参考訳（メタデータ） (2026-08-04T13:14:06Z)
• Do Gender Cues Affect LLM Value Trade-offs? Evidence from a Controlled Decision Benchmark [33.25199452418043]
  シナリオを保持しながらロールジェンダーの設定だけを変えるベンチマークを構築します。 明示的なジェンダーの手がかりは、有界だが体系的な意思決定のフリップを引き起こす。 ジェンダー効果は、決定的な値境界の近くに集中しており、ジェンダーの手がかりが局所的な境界シフト要因として働くことを示唆している。
  論文  参考訳（メタデータ） (2026-06-01T13:14:10Z)
• A Counterfactual LLM Framework for Detecting Human Biases: A Case Study of Sex/Gender in Emergency Triage [1.9461694122897646]
  本稿では,Large Language Models (LLMs) を用いて,ヒトの臨床的意思決定における性差を定量化するための,ドメインに依存しない新しい手法を提案する。 緊急トリアージについて検討し,ボルドー大学病院(フランス)への15万人以上の入院に対するアプローチを検証し,異なる言語,人口,医療システムでMIMIC-IVのサブセットを複製した。 ボルドーのコホートでは、同じプレゼンテーションが男性ではなく女性として提示された場合、平均で約2.1%、フランスでは国家非常用紙に拡大され、20,000人以上の低水準のプレゼンテーションに該当する。
  論文  参考訳（メタデータ） (2025-11-21T10:37:52Z)
• Bias in Gender Bias Benchmarks: How Spurious Features Distort Evaluation [116.86965910589775]
  対象物の10%だけをマスクしたり、背景が弱くぼやけたりといった、最小限の摂動でさえ、バイアススコアを劇的に変える可能性がある。 これは、現在のバイアス評価がモデル応答を、性別バイアスよりも刺激的な特徴に反映していることを示唆している。
  論文  参考訳（メタデータ） (2025-09-09T11:14:11Z)
• The Root Shapes the Fruit: On the Persistence of Gender-Exclusive Harms in Aligned Language Models [91.86718720024825]
  我々はトランスジェンダー、ノンバイナリ、その他のジェンダー・ディバースのアイデンティティを中心とし、アライメント手順が既存のジェンダー・ディバースバイアスとどのように相互作用するかを検討する。 以上の結果から,DPO対応モデルは特に教師付き微調整に敏感であることが示唆された。 DPOとより広範なアライメントプラクティスに合わせたレコメンデーションで締めくくります。
  論文  参考訳（メタデータ） (2024-11-06T06:50:50Z)
• GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
  大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T15:35:46Z)
• GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
  本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。 ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。 既存のLVLMでは男女差が広くみられた。
  論文  参考訳（メタデータ） (2024-06-30T05:55:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。