論文の概要: Evaluating Second-Order Bias of LLMs Through Epistemic Entitlement

• arxiv url: http://arxiv.org/abs/2606.17506v1
• Date: Tue, 16 Jun 2026 04:28:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.265141
• Title: Evaluating Second-Order Bias of LLMs Through Epistemic Entitlement
• Title（参考訳）: てんかんにおけるLLMの2次バイアス評価
• Authors: Ramaravind Kommiya Mothilal, Terry Jingchen Zhang, Raiyan Ahmed, Zhijing Jin, Shion Guha, Syed Ishtiaque Ahmed,
• Abstract要約: 私たちはこの2階偏見を、LLMの社会的偏見に関する判断における社会的偏見と呼んでいる。 我々は,LLM審査員が十分な支持を得ずに,受理可能な人口層を推定する際の偏りを測定する指標を開発した。 我々の研究は、判定タスクにおけるLLMバイアス評価の必要性と、NLPにおけるより理論的に基礎的なバイアス評価アプローチの必要性を指摘する。
• 参考スコア（独自算出の注目度）: 31.07429782962401
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluations of social bias in LLMs largely focus on whether models generate or imply biased content. However, as LLMs are increasingly used as judges of bias, they may exhibit social biases in subtler ways in how they evaluate biased content, which current methods do not systematically capture. We call this second-order bias: social bias in an LLM's judgment about social bias, which we evaluate through a novel, philosophically grounded reasoning task. Drawing on entitlement epistemology, we conceptualize bias as misplaced foundational knowledge that shapes an agent's rational inquiry, and derive a logical reasoning task for LLMs to judge to whom a biased text is acceptable or non-acceptable. We develop two simple metrics to measure how biased LLM judges are in inferring demographics for acceptability without sufficient support, and how these inferences vary across groups targeted by biased texts. Evaluating open and closed models, we find that our task evades safety guardrails by surfacing bias in model judgment. It varies systematically across target groups, reflects implicit social maps, and shows how models are still triggered by demographic labels. Our work points to the need for LLM bias evaluation in judgment tasks and broadly, for more theoretically grounded approaches to bias evaluation in NLP. We release our code and model responses at https://github.com/uofthcdslab/second-order-bias.
• Abstract（参考訳）: LLMにおける社会的偏見の評価は、モデルがコンテンツを生成するか、暗示するかを主に重視する。 しかし、LLMは偏見の判断としてますます使われているため、現在の手法では体系的に捉えられない偏見のあるコンテンツの評価方法において、社会的偏見が微妙に現れる可能性がある。 我々は、この2階偏見を、LLMの社会的偏見に関する判断における社会的偏見と呼び、新しい、哲学的に根ざした推論タスクを通じて評価する。 権利認識論に基づいて、我々は偏見をエージェントの合理的な探求を形作る誤った基礎知識として概念化し、偏見のある文章が受け入れられるか受け入れられないかを判断する論理的推論タスクを LLM に導出する。 偏見付きLLM審査員が十分な支持を得ずに受理可能な人口層を推定する方法と、偏見付きテキストを対象とするグループ間でこれらの推測がどのように異なるかを測定するための2つの簡単な指標を開発した。 オープンモデルとクローズドモデルを評価することで,モデル判断におけるバイアスを克服し,安全ガードレールを回避できることが判明した。 対象グループごとに体系的に変化し、暗黙の社会地図を反映し、モデルがどのように人口統計学的ラベルによって引き起こされているかを示す。 我々の研究は、判定タスクにおけるLLMバイアス評価の必要性を指摘するとともに、NLPにおけるバイアス評価に対するより理論的に基礎的なアプローチを広く求めている。 コードとモデルのレスポンスはhttps://github.com/uofthcdslab/second-order-bias.comで公開しています。

関連論文リスト

• Judging with Many Minds: Do More Perspectives Mean Less Prejudice? On Bias Amplifications and Resistance in Multi-Agent Based LLM-as-Judge [70.89799989428367]
  我々は、位置バイアス、冗長性バイアス、チェーンオブ思考バイアス、バンドワゴンバイアスの4つの多様なバイアスタイプを体系的に分析する。 広く採用されているマルチエージェントLLM-as-JudgeフレームワークであるMulti-Agent-DebateとLLM-as-Meta-Judgeでこれらのバイアスを評価する。
  論文  参考訳（メタデータ） (2025-05-26T03:56:41Z)
• Implicit Bias in LLMs: A Survey [2.07180164747172]
  本稿では,大規模言語モデルにおける暗黙バイアスに関する既存の文献を包括的にレビューする。 まず、心理学における暗黙の偏見に関連する重要な概念、理論、方法を紹介する。 検出方法は,単語関連,タスク指向テキスト生成,意思決定の3つの主要なアプローチに分類する。
  論文  参考訳（メタデータ） (2025-03-04T16:49:37Z)
• Explicit vs. Implicit: Investigating Social Bias in Large Language Models through Self-Reflection [18.625071242029936]
  大規模言語モデル(LLM)は、生成されたコンテンツに様々なバイアスとステレオタイプを示すことが示されている。 本稿では,LLMにおける明示的偏見と暗黙的偏見を調査・比較するための体系的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-01-04T14:08:52Z)
• Evaluating Implicit Bias in Large Language Models by Attacking From a Psychometric Perspective [66.34066553400108]
  我々は、ある人口層に対する大きな言語モデルの暗黙の偏見を厳格に評価する。 心理測定の原則にインスパイアされた我々は,3つの攻撃的アプローチ,すなわち,軽視,軽視,指導を提案する。 提案手法は,LLMの内部バイアスを競合ベースラインよりも効果的に引き出すことができる。
  論文  参考訳（メタデータ） (2024-06-20T06:42:08Z)
• Measuring Implicit Bias in Explicitly Unbiased Large Language Models [14.279977138893846]
  大規模言語モデル(LLM)は明示的な社会的バイアステストに合格するが、それでも暗黙のバイアスを課す。 我々は、暗黙のバイアスを明らかにするプロンプトベースの方法であるLSM Implicit Biasと、意思決定タスクにおける微妙な差別を検出する戦略であるLSM Decision Biasの2つの新しいバイアス対策を導入する。 これらの指標を用いて,4つの社会カテゴリーにまたがる8つの価値整合モデルにおいて,社会における傾向を反映する広汎なステレオタイプバイアスが発見された。
  論文  参考訳（メタデータ） (2024-02-06T15:59:23Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。