論文の概要: Evaluating Scoring Bias in LLM-as-a-Judge

• arxiv url: http://arxiv.org/abs/2506.22316v1
• Date: Fri, 27 Jun 2025 15:25:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:23.263123
• Title: Evaluating Scoring Bias in LLM-as-a-Judge
• Title（参考訳）: LLM-as-a-Judgeにおけるスコーリングバイアスの評価
• Authors: Qingquan Li, Shaoyu Dou, Kailai Shao, Chao Chen, Haixiang Hu,
• Abstract要約: 大規模言語モデル (LLM) は複雑なタスクの評価に使用される。 LLM-as-a-Judgeには様々なバイアスがあり、判断の公平性と信頼性に悪影響を及ぼす。
• 参考スコア（独自算出の注目度）: 8.751901240110888
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The remarkable performance of Large Language Models (LLMs) gives rise to``LLM-as-a-Judge'', where LLMs are employed as evaluators for complex tasks. Moreover, it has been widely adopted across fields such as Natural Language Processing (NLP), preference learning, and various specific domains. However, there are various biases within LLM-as-a-Judge, which adversely affect the fairness and reliability of judgments. Current research on evaluating or mitigating bias in LLM-as-a-Judge predominantly focuses on comparison-based evaluations, while systematic investigations into bias in scoring-based evaluations remain limited. Therefore, we define scoring bias in LLM-as-a-Judge as the scores differ when scoring judge models are bias-related perturbed, and provide a well-designed framework to comprehensively evaluate scoring bias. We augment existing LLM-as-a-Judge benchmarks through data synthesis to construct our evaluation dataset and design multi-faceted evaluation metrics. Our experimental results demonstrate that the scoring stability of existing judge models is disrupted by scoring biases. Further exploratory experiments and discussions provide valuable insights into the design of scoring prompt templates and the mitigation of scoring biases on aspects such as score rubrics, score IDs, and reference answer selection.
• Abstract（参考訳）: LLM(Large Language Models)の顕著な性能は'LLM-as-a-Judge''を生じさせ、LLMは複雑なタスクの評価器として使用される。 さらに、自然言語処理(NLP)、嗜好学習、様々な特定の分野に広く採用されている。 しかし、LLM-as-a-Judgeには様々なバイアスがあり、判断の公平性と信頼性に悪影響を及ぼす。 LLM-as-a-Judgeにおけるバイアスの評価または緩和に関する現在の研究は、主に比較に基づく評価に焦点を当てているが、スコアに基づく評価のバイアスに関する体系的な研究は限定的である。 そこで本研究では,評価モデルがバイアス関連摂動状態にある場合のスコアの違いとしてLCM-as-a-Judgeのスコアバイアスを定義し,評価バイアスを包括的に評価するフレームワークを提供する。 既存のLCM-as-a-Judgeベンチマークをデータ合成により拡張し,評価データセットを構築し,多面評価指標を設計する。 実験の結果,既存の判定モデルのスコアリング安定性は,スコアリングバイアスによって破壊されることが示された。 さらなる探索実験と議論は、スコア・プロンプトテンプレートの設計とスコア・ルーブリック、スコアID、参照回答の選択といった側面におけるスコア・バイアスの緩和に関する貴重な洞察を提供する。

関連論文リスト

• Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
  フィードバックプロトコルの選択が評価信頼性に大きく影響し,系統的バイアスを生じさせることを示す。 特に、ペアワイズ評価プロトコルは、不注意な評価に対してより脆弱であることを示す。
  論文  参考訳（メタデータ） (2025-04-20T19:05:59Z)
• Meta-Evaluating Local LLMs: Rethinking Performance Metrics for Serious Games [3.725822359130832]
  大規模言語モデル (LLMs) は、真剣なゲームにおける評価指標としてますます研究されている。 本研究では,エネルギーコミュニティにおける意思決定をシミュレートするゲームであるtextitEn-join において,5つの小規模 LLM の信頼性について検討した。 その結果、各モデルの長所と短所を強調し、感度、特異性、全体的なパフォーマンスのトレードオフを明らかにした。
  論文  参考訳（メタデータ） (2025-04-13T10:46:13Z)
• Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
  我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。 意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。 本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
  論文  参考訳（メタデータ） (2024-10-18T17:32:22Z)
• Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
  多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。 提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。 当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
  論文  参考訳（メタデータ） (2024-10-03T17:53:30Z)
• CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。 我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:31:37Z)
• The Comparative Trap: Pairwise Comparisons Amplifies Biased Preferences of LLM Evaluators [31.520403357740317]
  大規模言語モデル (LLM) は、自然言語生成タスクの評価器としてますます使われている。 LLMは、冗長性や権威的なトーンを好むなど、バイアスのある好みを示す。 ペアワイズフレームワークにポイントワイズ推論を統合するPRePairを導入する。
  論文  参考訳（メタデータ） (2024-06-18T06:43:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。