論文の概要: Beyond Consensus: Mitigating the Agreeableness Bias in LLM Judge Evaluations

• arxiv url: http://arxiv.org/abs/2510.11822v1
• Date: Mon, 13 Oct 2025 18:19:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.05612
• Title: Beyond Consensus: Mitigating the Agreeableness Bias in LLM Judge Evaluations
• Title（参考訳）: 合意を超えて - LLMの判断評価におけるアジリティバイアスの緩和
• Authors: Suryaansh Jain, Umair Z. Ahmed, Shubham Sahai, Ben Leong,
• Abstract要約: 新しいLarge Language Models(LLM)が数週間毎に利用可能になる。 LLMは高い精度で有効な出力を識別できるが、無効な出力を識別する能力は極めて乏しい。 我々は、欠落データに対して回復力のある最適なマイノリティ・ベト戦略を導入し、このバイアスを広範囲に緩和する。
• 参考スコア（独自算出の注目度）: 0.20027036140258694
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: New Large Language Models (LLMs) become available every few weeks, and modern application developers confronted with the unenviable task of having to decide if they should switch to a new model. While human evaluation remains the gold standard, it is costly and unscalable. The state-of-the-art approach is to use LLMs as evaluators ( LLM-as-a-judge), but this suffers from a critical flaw: LLMs exhibit a strong positive bias. We provide empirical evidence showing that while LLMs can identify valid outputs with high accuracy (i.e., True Positive Rate 96%), they are remarkably poor at identifying invalid ones (i.e., True Negative Rate <25%). This systematic bias, coupled with class imbalance, often leads to inflated reliability scores. While ensemble-based methods like majority voting can help, we show that they are not good enough. We introduce an optimal minority-veto strategy that is resilient to missing data and mitigates this bias to a large extent. For scenarios requiring even higher precision, we propose a novel regression-based framework that directly models the validator bias using a small set of human-annotated ground truth data. On a challenging code feedback task over 366 high-school Python programs, our regression approach reduces the maximum absolute error to just 1.2%, achieving a 2x improvement over the best-performing ensemble of 14 state-of-the-art LLMs.
• Abstract（参考訳）: 新しいLarge Language Models(LLMs)が数週間毎に利用可能になり、モダンなアプリケーション開発者は新しいモデルに切り替えるべきかどうかを判断しなければならないという不可避な課題に直面した。 人間の評価は金の基準のままだが、費用がかかり、計算不能である。 最先端のアプローチは、LLMを評価子(LLM-as-a-judge)として使用することだが、これは重大な欠陥に悩まされている。 LLMは高い精度で有効な出力を識別できる(正正率96%)が、無効な出力を識別できない(正負率25%)という実証的な証拠を提供する。 この体系的バイアスとクラス不均衡は、しばしば膨らんだ信頼性スコアをもたらす。 過半数投票のようなアンサンブルベースの手法は役に立つが、それらが十分ではないことを示す。 我々は、欠落データに対して回復力のある最適なマイノリティ・ベト戦略を導入し、このバイアスを広範囲に緩和する。 さらに高い精度を必要とするシナリオに対しては、人間に注釈を付けた少量の真実データを用いて、バリデータバイアスを直接モデル化する新しい回帰ベースのフレームワークを提案する。 366以上のPythonプログラムに対する挑戦的なコードフィードバックタスクでは、レグレッションアプローチは最大絶対誤差を1.2%に減らし、14の最先端のLLMよりも2倍改善した。

関連論文リスト

• Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation [66.84286617519258]
  大規模言語モデルは、データアノテーションやテキスト分析といった労働集約的なタスクの自動化を可能にすることで、社会科学の研究を変革している。 このような変異は、系統的なバイアスやランダムなエラーを導入し、下流の分析に伝播し、タイプI(偽陽性)、タイプII(偽陰性)、タイプS(重み付け効果)、タイプM(誇張効果)のエラーを引き起こす。 意図的なLSMハッキングは驚くほど単純であることがわかった。21の社会科学研究から37のデータアノテーションタスクを複製することで、ほんのわずかのプロンプトの言い回しで、事実上何であれ統計的に重要なものとして表現できることがわかりました。
  論文  参考訳（メタデータ） (2025-09-10T17:58:53Z)
• Verifying the Verifiers: Unveiling Pitfalls and Potentials in Fact Verifiers [59.168391398830515]
  我々は,14のファクトチェックベンチマークのサンプルを用いて,12の事前学習LDMと1つの特殊ファクト検証器を評価した。 データセットにおけるアノテーションエラーとあいまいさに対処することの重要性を強調します。 最上位のパフォーマンスを実現するために、前作でしばしば見落とされがちな、数ショットのインコンテキストの例を持つフロンティアLSM。
  論文  参考訳（メタデータ） (2025-06-16T10:32:10Z)
• DIF: A Framework for Benchmarking and Verifying Implicit Bias in LLMs [1.89915151018241]
  我々は、Large Language Models(LLMs)における暗黙のバイアスは倫理的な問題であるだけでなく、技術的な問題でもあると主張している。 我々は、容易に解釈可能なベンチマークDIF(Demographic Implicit Fairness)の計算方法を開発した。
  論文  参考訳（メタデータ） (2025-05-15T06:53:37Z)
• Mitigating the Bias of Large Language Model Evaluation [30.67730115141905]
  LLM-as-a-Judgeのバイアスに関する系統的研究を提案する。 クローズドソース・ジャッジモデルでは、表面品質の重要性を緩和するためにキャリブレーションを適用する。 オープンソース・ジャッジ・モデルでは, 対照的な学習によってバイアスを軽減し, 学習から逸脱するが, 表面品質が向上する負のサンプルをキュレートする。
  論文  参考訳（メタデータ） (2024-09-25T09:52:44Z)
• A Multi-LLM Debiasing Framework [85.17156744155915]
  大規模言語モデル(LLM)は、社会に多大な利益をもたらす可能性がある強力なツールであるが、社会的不平等を持続するバイアスを示す。 近年,マルチLLM手法への関心が高まっており,推論の質向上に有効であることが示されている。 LLMのバイアス低減を目的としたマルチLLMデバイアスフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-20T20:24:50Z)
• Ranking Large Language Models without Ground Truth [24.751931637152524]
  大規模言語モデル(LLM)の評価とランキングは,これらのモデルの普及に伴って重要な問題となっている。 我々は、プロンプトのデータセットが与えられた場合、根拠となる真実や参照応答にアクセスせずにそれらをランク付けする、新しい視点を提供する。 この考え方を繰り返し適用し、LLMをランク付けする2つの方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T00:49:43Z)
• Self-Supervised Position Debiasing for Large Language Models [39.261233221850155]
  大規模言語モデル(LLM)における位置バイアスを軽減するための自己教師型位置偏差検出(SOD)フレームワークを提案する。 8つのデータセットと5つのタスクの実験により、SODは3つのタイプの位置バイアスを緩和する既存の手法より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-01-02T14:12:41Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。