論文の概要: LLMs on Trial: Evaluating Judicial Fairness for Large Language Models
- arxiv url: http://arxiv.org/abs/2507.10852v1
- Date: Mon, 14 Jul 2025 22:56:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-16 19:46:02.912953
- Title: LLMs on Trial: Evaluating Judicial Fairness for Large Language Models
- Title（参考訳）: LLMs on Trial: 大規模言語モデルにおける司法公正性の評価
- Authors: Yiran Hu, Zongyue Xue, Haitao Li, Siyuan Zheng, Qingjing Chen, Shaochun Wang, Xihan Zhang, Ning Zheng, Yun Liu, Qingyao Ai, Yiqun Liu, Charles L. A. Clarke, Weixing Shen,
- Abstract要約: 大規模言語モデル(LLM)は、その決定が権利や株式に影響を及ぼすハイテイク分野において、ますます使われている。
LLMsの司法公正性と社会正義への含意はいまだに過小評価されている。
LLMの公平度を測定するための総合的なフレームワークを構築し、65ラベルと161の値が選択される。
この枠組みを司法システムに適用し、177,100のユニークな事例事実からなる広範なデータセットJudiFairをコンパイルする。
- 参考スコア（独自算出の注目度）: 18.895994052898754
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are increasingly used in high-stakes fields where their decisions impact rights and equity. However, LLMs' judicial fairness and implications for social justice remain underexplored. When LLMs act as judges, the ability to fairly resolve judicial issues is a prerequisite to ensure their trustworthiness. Based on theories of judicial fairness, we construct a comprehensive framework to measure LLM fairness, leading to a selection of 65 labels and 161 corresponding values. Applying this framework to the judicial system, we compile an extensive dataset, JudiFair, comprising 177,100 unique case facts. To achieve robust statistical inference, we develop three evaluation metrics, inconsistency, bias, and imbalanced inaccuracy, and introduce a method to assess the overall fairness of multiple LLMs across various labels. Through experiments with 16 LLMs, we uncover pervasive inconsistency, bias, and imbalanced inaccuracy across models, underscoring severe LLM judicial unfairness. Particularly, LLMs display notably more pronounced biases on demographic labels, with slightly less bias on substance labels compared to procedure ones. Interestingly, increased inconsistency correlates with reduced biases, but more accurate predictions exacerbate biases. While we find that adjusting the temperature parameter can influence LLM fairness, model size, release date, and country of origin do not exhibit significant effects on judicial fairness. Accordingly, we introduce a publicly available toolkit containing all datasets and code, designed to support future research in evaluating and improving LLM fairness.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、その決定が権利や株式に影響を及ぼすハイテイク分野において、ますます使われている。
しかし、LLMsの司法公正性と社会正義への含意は未解決のままである。
LLMが裁判官として振る舞うとき、司法問題を公平に解決する能力は、彼らの信頼性を確保するための前提条件である。
司法公正性の理論に基づいて,LLM公正性を測定する包括的な枠組みを構築し,65のラベルと161の値が選択される。
この枠組みを司法システムに適用し、177,100のユニークな事例事実からなる広範なデータセットJudiFairをコンパイルする。
頑健な統計的推測を実現するために,不整合,偏り,不整合の3つの評価指標を開発し,複数のラベル間のLLMの全体的公平性を評価する手法を提案する。
16個のLDMを用いた実験により、モデル間での広汎な不整合、偏り、不均衡な不正確性を明らかにし、厳密なLSMの司法不公平さを裏付ける。
特に、LCMは人口統計学的ラベルに顕著な偏りを示し、プロシージャに比較すると、物質ラベルに偏りはわずかに小さい。
興味深いことに、矛盾の増大はバイアスの減少と相関するが、より正確な予測はバイアスを悪化させる。
温度パラメータの調整は, LLM公正性, モデルサイズ, リリース日, 原産地に影響を及ぼすが, 司法公正性には大きな影響を与えない。
そこで我々は,LLMフェアネスの評価と改善における今後の研究を支援するために設計された,すべてのデータセットとコードを含む公開ツールキットを紹介した。
関連論文リスト
- Verifying the Verifiers: Unveiling Pitfalls and Potentials in Fact Verifiers [59.168391398830515]
我々は,14のファクトチェックベンチマークのサンプルを用いて,12の事前学習LDMと1つの特殊ファクト検証器を評価した。
データセットにおけるアノテーションエラーとあいまいさに対処することの重要性を強調します。
最上位のパフォーマンスを実現するために、前作でしばしば見落とされがちな、数ショットのインコンテキストの例を持つフロンティアLSM。
論文 参考訳（メタデータ） (2025-06-16T10:32:10Z) - Is Your Model Fairly Certain? Uncertainty-Aware Fairness Evaluation for LLMs [7.197702136906138]
モデルフェアネスのきめ細かい評価を可能にするため,不確実性を考慮した評価基準であるUCerFを提案する。
現在のデータセットにおけるデータサイズ、多様性、明快さの問題を観察し、新しいジェンダー占有公正度評価データセットを導入する。
我々は、メトリックとデータセットを使用してベンチマークを確立し、それを10のオープンソースAIシステムの動作評価に適用する。
論文 参考訳（メタデータ） (2025-05-29T20:45:18Z) - Don't Judge Code by Its Cover: Exploring Biases in LLM Judges for Code Evaluation [14.521056434373213]
評価子として大きな言語モデルを使用すると、コード評価タスクに拡張される。
LLMは、表面的なバリエーションで意味論的に等価なコードを公平かつ堅牢に評価できますか?
コード評価における潜在的なバイアスを6種類定義し,この問題を包括的に検討した。
論文 参考訳（メタデータ） (2025-05-22T04:49:33Z) - Assessing Judging Bias in Large Reasoning Models: An Empirical Study [99.86300466350013]
DeepSeek-R1やOpenAI-o1のような大きな推論モデル(LRM)は、顕著な推論能力を示している。
本稿では、主観的嗜好アライメントデータセットと客観的事実ベースデータセットの両方において、LLMとLRMの偏りを判定するベンチマークを示す。
論文 参考訳（メタデータ） (2025-04-14T07:14:27Z) - The Other Side of the Coin: Exploring Fairness in Retrieval-Augmented Generation [73.16564415490113]
Retrieval-Augmented Generation (RAG)は、外部の知識ソースから関連文書を取得することにより、Large Language Models (LLM)を強化する。
本稿では,小規模LLMにおいてRAGが導入した公平性問題を軽減するために,FairFTとFairFilterの2つのアプローチを提案する。
論文 参考訳（メタデータ） (2025-04-11T10:17:10Z) - JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。
審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
論文 参考訳（メタデータ） (2024-10-16T17:58:19Z) - Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。
提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。
当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
論文 参考訳（メタデータ） (2024-10-03T17:53:30Z) - Unboxing Occupational Bias: Grounded Debiasing of LLMs with U.S. Labor Data [9.90951705988724]
大規模言語モデル(LLM)は、社会的バイアスを継承し増幅する傾向がある。
LLMバイアスは、不公平な慣行をもたらし、社会的不平等を悪化させる。
論文 参考訳（メタデータ） (2024-08-20T23:54:26Z) - Identifying and Mitigating Social Bias Knowledge in Language Models [52.52955281662332]
個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。
FASTは最先端のベースラインを超え、デバイアス性能が優れている。
これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
論文 参考訳（メタデータ） (2024-08-07T17:14:58Z) - Fairness in Large Language Models in Three Hours [2.443957114877221]
このチュートリアルは、大規模言語モデルに関する文献の最近の進歩を体系的に概説する。
LLMにおける公平性の概念を考察し、バイアスを評価するための戦略と公正性を促進するために設計されたアルゴリズムを要約する。
論文 参考訳（メタデータ） (2024-08-02T03:44:14Z) - Fairness in Large Language Models: A Taxonomic Survey [2.669847575321326]
大規模言語モデル(LLM)は、様々な領域で顕著な成功を収めている。
多くの実世界のアプリケーションで有望な性能を示したにもかかわらず、これらのアルゴリズムのほとんどは公平さを考慮に入れていない。
論文 参考訳（メタデータ） (2024-03-31T22:22:53Z) - A Survey on Fairness in Large Language Models [28.05516809190299]
大規模言語モデル(LLM)は、強力なパフォーマンスと開発見通しを示している。
LLMは、未処理のトレーニングデータから社会的バイアスをキャプチャし、そのバイアスを下流のタスクに伝達する。
不公平なLLMシステムは、望ましくない社会的影響と潜在的な害がある。
論文 参考訳（メタデータ） (2023-08-20T03:30:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。