Fugu-MT 論文翻訳(概要): Toward Robust LLM-Based Judges: Taxonomic Bias Evaluation and Debiasing Optimization

論文の概要: Toward Robust LLM-Based Judges: Taxonomic Bias Evaluation and Debiasing Optimization

arxiv url: http://arxiv.org/abs/2603.08091v1
Date: Mon, 09 Mar 2026 08:32:21 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-10 15:13:15.70783
Title: Toward Robust LLM-Based Judges: Taxonomic Bias Evaluation and Debiasing Optimization
Title（参考訳）: ロバストLSMに基づく判断に向けて:分類学的バイアス評価とバイアス最適化
Abstract要約: 大規模言語モデル(LLM)に基づく審査員は、自動評価と報酬モデリングに広く採用されている。 LLMに基づく審査員のバイアスを系統的に定量化するためのベンチマークであるJiceBiasBenchを提案する。我々は、生成的および差別的な裁判官の両方にまたがって実験を行い、現在の裁判官が有意かつ多様なバイアスパターンを示すことを明らかにした。
参考スコア（独自算出の注目度）: 44.252712888022835
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language model (LLM)-based judges are widely adopted for automated evaluation and reward modeling, yet their judgments are often affected by judgment biases. Accurately evaluating these biases is essential for ensuring the reliability of LLM-based judges. However, existing studies typically investigate limited biases under a single judge formulation, either generative or discriminative, lacking a comprehensive evaluation. To bridge this gap, we propose JudgeBiasBench, a benchmark for systematically quantifying biases in LLM-based judges. JudgeBiasBench defines a taxonomy of judgment biases across 4 dimensions, and constructs bias-augmented evaluation instances through a controlled bias injection pipeline, covering 12 representative bias types. We conduct extensive experiments across both generative and discriminative judges, revealing that current judges exhibit significant and diverse bias patterns that often compromise the reliability of automated evaluation. To mitigate judgment bias, we propose bias-aware training that explicitly incorporates bias-related attributes into the training process, encouraging judges to disentangle task-relevant quality from bias-correlated cues. By adopting reinforcement learning for generative judges and contrastive learning for discriminative judges, our methods effectively reduce judgment biases while largely preserving general evaluation capability.
Abstract（参考訳）: 大規模言語モデル(LLM)に基づく判断は、自動評価と報酬モデリングに広く採用されているが、その判断は判断バイアスの影響を受けやすい。 LLMに基づく審査員の信頼性を確保するためには、これらのバイアスを正確に評価することが不可欠である。しかし、既存の研究は通常、単一の判断の定式化の下で限られたバイアス(生成的または識別的)を調査し、包括的な評価を欠いている。このギャップを埋めるため,LLMに基づく審査員のバイアスを系統的に定量化するためのベンチマークであるJiceBiasBenchを提案する。 JudgeBiasBench氏は、4次元にわたる判断バイアスの分類を定義し、12の代表的なバイアスタイプをカバーする、制御されたバイアス注入パイプラインを通じてバイアス増分評価インスタンスを構築する。我々は、生成的および差別的判断の両方にわたって広範な実験を行い、現在の審査員は、しばしば自動評価の信頼性を損なう有意義で多様なバイアスパターンを示すことを明らかにした。判断バイアスを軽減するため,偏見関連属性をトレーニングプロセスに明示的に組み込んだ偏見意識トレーニングを提案し,偏見関連手がかりからタスク関連品質を遠ざけるようにした。生成的判断に対する強化学習と識別的判断に対するコントラスト学習を採用することにより,判定バイアスを効果的に低減し,一般評価能力を大きく維持する。

関連論文リスト

CyclicJudge: Mitigating Judge Bias Efficiently in LLM-based Evaluation [6.3121191919394475]
この研究は、ベンチマークスコアの分散をシナリオ、生成、判断、残留コンポーネントに分割する分散分解を導入する。この分析に基づいて, 審査員のシナリオへのラウンドロビンの割り当てであるCyclicJudgeが, 一定の審査-呼出予算の最適戦略であることを実証した。
論文参考訳（メタデータ） (2026-03-02T13:46:32Z)
Making Bias Non-Predictive: Training Robust LLM Judges via Reinforcement Learning [91.8584139564909]
大規模言語モデル(LLM)は、ますます自動化された審査員として機能するが、認知バイアスの影響を受けやすいままである。本稿では,重要原則に基づく強化学習フレームワークである疫学独立訓練(EIT)を提案する。 EITはバランスの取れた競合戦略を通じてこれを運用します。
論文参考訳（メタデータ） (2026-02-02T01:43:48Z)
Evaluating and Mitigating LLM-as-a-judge Bias in Communication Systems [32.83708359216193]
大規模言語モデル(LLM)は、コミュニケーションシステムにおけるコンテンツの品質を自律的に評価するために、ますます使われている。本稿では,2つのLLM-as-a-judgeモデルにおける判定バイアスをポイントワイド評価条件下で系統的に検討する。我々は,実践的なコミュニケーションシナリオにおいて,公平かつ信頼性の高いAIを確保するための4つの潜在的な緩和戦略を提案する。
論文参考訳（メタデータ） (2025-10-14T12:52:29Z)
CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards [72.44810390478229]
CompassJudger-2は、タスク駆動のマルチドメインデータキュレーション戦略によって制限を克服する新しいジェネラリストジャッジモデルである。 CompassJudger-2は、複数の判定と報奨ベンチマークで優れた結果を得る。
論文参考訳（メタデータ） (2025-07-12T01:34:24Z)
Quantitative LLM Judges [60.773734899532336]
本研究では,既存のLLM審査員の評価スコアを,与えられた領域内の人間と一致させる定量的LLM審査員を提案する。モデルは、その合理性とスコアを使用して、元の審査員のスコアを改善するために訓練される。実験の結果, 定量的な判断は, ポストホックモデリングにより, 既存の判断の予測力を向上できることがわかった。
論文参考訳（メタデータ） (2025-06-03T14:44:23Z)
J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization [69.23273504123941]
私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。我々はReasoningJudgeBenchというベンチマークを紹介します。 EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
論文参考訳（メタデータ） (2025-05-19T16:50:35Z)
JuStRank: Benchmarking LLM Judges for System Ranking [7.507819077549208]
我々はLLM審査員をシステムランクラーとして大規模に調査した。システムスコアは、複数のシステム出力に対して判定スコアを集約することで生成される。我々の分析は、判断力や偏見を含む判断行動のきめ細かい特徴を提供する。
論文参考訳（メタデータ） (2024-12-12T18:51:13Z)
JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
論文参考訳（メタデータ） (2024-10-16T17:58:19Z)
Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge [24.206975650221732]
本研究では,LLM審査員の位置バイアスをペアワイドおよびリストワイド比較設定で評価する。偏見に寄与する判断レベル、候補レベル、タスクレベルを識別する。
論文参考訳（メタデータ） (2024-06-12T01:12:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。