論文の概要: Explanation Fairness in Large Language Models: An Empirical Analysis of Disparities in How LLMs Justify Decisions Across Demographic Groups
- arxiv url: http://arxiv.org/abs/2605.08671v1
- Date: Sat, 09 May 2026 04:19:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.803062
- Title: Explanation Fairness in Large Language Models: An Empirical Analysis of Disparities in How LLMs Justify Decisions Across Demographic Groups
- Title(参考訳): 大規模言語モデルにおける説明フェアネス:LLMがデモグラフィ群全体の決定を正当化する方法における差異の実証分析
- Abstract要約: 大規模言語モデル(LLM)は、意思決定だけでなく、それらを説明するためにもますますデプロイされている。
本稿では,5つの公式に定義された操作可能な次元からなるフレームワークであるExplaination Fairness Taxonomy(EFT)を紹介する。
分類学は80のプロンプトテンプレート、4つの連続決定ドメイン、5つのLCMからなる制御された実証研究でインスタンス化される。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly deployed not only to make decisions but to explain them. While AI decision fairness has been studied extensively, the fairness of AI explanations (whether LLMs justify decisions with equal quality, depth, tone, and linguistic sophistication across demographic groups) has received little attention. This paper introduces the Explanation Fairness Taxonomy (EFT), a framework comprising five formally defined, operationalizable dimensions: Verbosity Disparity, Sentiment Disparity, Epistemic Hedging Disparity, Decision-Linked Explanation Disparity, and Lexical Complexity Disparity. The taxonomy is instantiated in a controlled empirical study across 80 prompt templates, four consequential decision domains (hiring, medical triage, credit assessment, legal judgment), and five LLMs: GPT-4.1, Claude Sonnet, LLaMA 3.3 70B, GPT-OSS 120B, and Qwen3 32B. Two novel black-box metrics are introduced: the Hedging Density Score (HDS) and the Explanation Faithfulness Proxy (EFP), a heuristic indicator of decision-linked explanation variation. Across up to 400 prompt pairs, all eight EFT metrics show statistically significant disparities (Cohen's d ranging from small to large, all p_BH < 10^(-62)). Model choice is strongly associated with disparity magnitude: Qwen3 32B exhibits verbosity disparities 5.9x larger than LLaMA 3.3 70B. Two prompting-based mitigations show significant reductions in EFP disparity (78-95%) but no significant effect on stylistic dimensions, consistent with the hypothesis that stylistic explanation inequalities are encoded in pre-training distributions and are not resolvable through deployment-level instruction alone. A reproducible measurement framework is offered for explanation-level fairness auditing, with implications for AI regulation and deployment practice.
- Abstract(参考訳): 大規模言語モデル(LLM)は、意思決定だけでなく、それらを説明するためにもますますデプロイされている。
AI決定の公平性は広く研究されているが、AI説明の公平性(LLMが同等の品質、深さ、トーン、言語的洗練度で決定を正当化するかどうか)はほとんど注目されていない。
本稿では,説明公正分類(Explaination Fairness Taxonomy, EFT)について紹介する。これは, 形式的に定義された, 操作可能な5つの次元からなるフレームワークである: 両性相違, 感性相違, てんかん性ヘッジ相違, 決定関連説明相違, 語彙複雑性相違。
分類学は80のプロンプトテンプレート、4つの連続決定ドメイン(雇用、医療トリアージ、信用評価、法的判断)、および5つのLCM(GPT-4.1、Claude Sonnet、LLaMA 3.3 70B、GPT-OSS 120B、Qwen3 32B)の制御された実証的研究でインスタンス化される。
Hedging Density Score (HDS) とExplaination Faithfulness Proxy (EFP) の2つの新しいブラックボックスメトリクスが導入された。
最大400個のプロンプトペアにまたがって、8つのEDT測度はすべて統計的に有意な差を示す(コーエンのdは小さいから大きい、p_BH < 10^(-62))。
Qwen3 32BはLLaMA 3.3 70Bより5.9倍大きい冗長性を示す。
2つのプロンプトに基づく緩和はEFPの相違(78-95%)を著しく減少させるが、スタイリスティックな説明の不等式は事前学習分布にエンコードされ、展開レベルの命令だけでは解決できないという仮説と一致して、スタイリスティックな次元に有意な影響を及ぼすことはない。
再現可能な測定フレームワークは、説明レベルの公正監査のために提供され、AI規制とデプロイメントプラクティスに影響を及ぼす。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳(メタデータ) (2026-09-10T08:34:56Z) - Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs [51.56484100374058]
大規模言語モデル(LLM)は目覚ましい多言語流布を示すが、その内部知識表現はハイリソース言語に対して不均等に偏っている。
我々は,これらのバイアスを推論時に緩和できるかどうかを考察し,対象言語でクエリされたかのように,英語の確率モデルに答えるように強制する。
Gemma 3 12Bの実験では、最も強い全体的な介入、効率性のバランス、安全性、ドメイン外の一般化を促すペルソナが明らかにされている。
論文 参考訳(メタデータ) (2026-07-21T16:15:05Z) - LePREC: Reasoning as Classification over Structured Factors for Assessing Relevance of Legal Issues [21.269183638841195]
世界の人口の半数以上が、法的な資源が限られているため、市民の正義のニーズを満たすために苦労している。
本稿では,ニューラルジェネレーションと構造化統計的推論を組み合わせたニューラルシンボリック・フレームワークLePRECを提案する。
論文 参考訳(メタデータ) (2026-04-21T13:42:24Z) - IDEA: An Interpretable and Editable Decision-Making Framework for LLMs via Verbal-to-Numeric Calibration [19.137433878125247]
IDEAはLLM決定知識を解釈可能なパラメトリックモデルに抽出するフレームワークである。
定量的な人間とAIのコラボレーションを可能にしながら、キャリブレーションされた確率を生成する。
論文 参考訳(メタデータ) (2026-04-14T10:50:49Z) - Semantic Invariance in Agentic AI [2.7821684674538347]
大規模言語モデルは、意思決定支援、科学的問題解決、マルチエージェント調整システムにおいて、自律的推論エージェントとしての役割をますます高めている。
LLMエージェントを連続的なアプリケーションにデプロイするには、それらの推論が意味論的に等価な入力変動の下で安定であることを保証する必要がある。
標準ベンチマーク評価は、固定された正準問題定式化の精度を評価するが、この重要な信頼性の次元を捉えることができない。
論文 参考訳(メタデータ) (2026-03-13T17:08:44Z) - Towards Large Language Models with Self-Consistent Natural Language Explanations [11.085839471231552]
大きな言語モデル(LLM)は、解釈容易なパスを提供するようだ。
しかし、研究によると、これらのポストホックな説明は真の決定過程を誤って表現していることが多い。
論文 参考訳(メタデータ) (2025-06-09T08:06:33Z) - DecisionFlow: Advancing Large Language Model as Principled Decision Maker [49.088778182807395]
DecisionFlowは、モデルにアクション、属性、制約の構造化された表現を推論するように誘導する、新しい決定モデリングフレームワークである。
プロンプトから直接回答を予測するのではなく、DecisionFlowは意味論的に根拠のある決定空間を構築し、潜在ユーティリティ関数を推論する。
実験の結果,DecisionFlowの精度は,強いプロンプトベースラインよりも最大30%向上した。
論文 参考訳(メタデータ) (2025-05-27T16:23:53Z) - SEED-GRPO: Semantic Entropy Enhanced GRPO for Uncertainty-Aware Policy Optimization [57.69385990442078]
大規模言語モデル(LLM)は、入力プロンプト(クエスト)にまたがる様々なレベルの信頼を示す。
セマンティックエントロピー(Semantic entropy)は、プロンプトが与えられた複数の生成された回答における意味の多様性を測定し、ポリシー更新の規模を変調するためにこれを使用する。
論文 参考訳(メタデータ) (2025-05-18T10:20:59Z) - Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。
本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。
本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
論文 参考訳(メタデータ) (2024-07-20T11:19:58Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳(メタデータ) (2024-06-28T20:06:30Z) - Inference to the Best Explanation in Large Language Models [14.846962816266188]
Inference to the Best Explanation (IBE) に関する哲学的な記述から着想を得た IBE-Eval を提案する。
IBE-Evalは、明示的な論理的特徴と言語的特徴を組み合わせることで、自然言語の説明の妥当性を推定する。
実験の結果、IBE-Evalは77%の精度で最良の説明を特定できることがわかった。
論文 参考訳(メタデータ) (2024-02-16T15:41:23Z) - Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。
我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。
モデルはこれらの評価セットに対して中程度から低い性能を示す。
論文 参考訳(メタデータ) (2023-05-24T06:41:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。