Fugu-MT 論文翻訳(概要): A CaLLM Judge is a Better Judge: Mitigating Bias in LLM-as-a-judge

論文の概要: A CaLLM Judge is a Better Judge: Mitigating Bias in LLM-as-a-judge

arxiv url: http://arxiv.org/abs/2610.18108v1
Date: Tue, 13 Oct 2026 10:23:02 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-15 21:06:15.590447
Title: A CaLLM Judge is a Better Judge: Mitigating Bias in LLM-as-a-judge
Title（参考訳）: LLM-as-a-judgeのバイアスを緩和するCaLLMの裁判官
Abstract要約: 大規模言語モデル (LLMs) は、人間の評価者がどちらを好むかを予測するために、裁判官としてますます使われている。本稿では, LLM判定器を複数校正するフレームワークである$mathrmCaLLM$を紹介する。次に、$mathrmCaLLM$が検定のためではなく、裁判官の精度を改善する理論条件を導出する。
参考スコア（独自算出の注目度）: 23.89863224066846
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Large language models (LLMs) are increasingly used as judges to predict which of two candidate answers a human evaluator would prefer, providing a scalable alternative when human evaluation is too costly. Unfortunately, LLM judgments can exhibit systematic biases. Prior work has documented position, verbosity or model family of the candidate answers influencing the judge decision rather than their quality, while additional biases may remain undocumented. $\textit{Multicalibration}$ provides a natural framework to address this problem: each bias corresponds to miscalibration on an identifiable group, $\textit{e.g.}$, family bias manifests as overconfidence in answers generated by models belonging to the same family of the judge. The challenge is to fix miscalibration simultaneously across many, potentially unknown groups. To this end, we introduce $\mathrm{CaLLM}$, a post hoc framework that multicalibrates an LLM judge, thereby bounding all such biases simultaneously. We prove that $\mathrm{CaLLM}$ bounds the bias of every group whose error structure is captured by an available representation, and that augmenting it with explicit bias groups further reduces the residual bias. We then derive theoretical conditions under which $\mathrm{CaLLM}$ improves the judge's accuracy, rather than trading it for calibration. Finally, we evaluate $\mathrm{CaLLM}$ across pairwise preference benchmarks, showing that it reduces the multicalibration error on both specified and unspecified bias groups, while improving predictive performance of the judge.
Abstract（参考訳）: 大規模言語モデル(LLM)は、人間の評価が高価すぎる場合にスケーラブルな代替手段を提供するため、人間の評価者がどの2つの候補答えを好むかを予測するために、ますます多くの裁判官として使われている。残念なことに、LSMの判断は体系的なバイアスを示す可能性がある。事前の作業では、候補者の答えの位置、冗長性、モデルファミリーが、彼らの品質よりも判断に影響を及ぼす一方で、追加のバイアスは文書化されていないままである。 $\textit{Multicalibration}$は、この問題に対処するための自然なフレームワークを提供する: 各バイアスは、識別可能なグループの誤校正に対応する。課題は、多くの、潜在的に未知のグループで同時に誤校正を修正することである。この目的のために、LLMジャッジを多重校正するポストホックフレームワークである$\mathrm{CaLLM}$を導入する。我々は、$\mathrm{CaLLM}$が、誤差構造が利用可能な表現によって捕捉されるすべての群のバイアスを束縛し、明示的なバイアス群でそれを増大させることで、残差バイアスをさらに減少させることを証明した。次に、$\mathrm{CaLLM}$が検定のためではなく、審査員の精度を改善する理論的な条件を導出する。最後に、ペアワイズ選好ベンチマークを用いて$\mathrm{CaLLM}$を評価し、判定器の予測性能を改善しつつ、特定偏差群と未特定偏差群の多重校正誤差を低減することを示した。

関連論文リスト

Can We Trust LLM Judges: A Study of Capability-Dependent Biases and Multi-Judge Ensemble for Bias Calibration [0.5294698352039444]
より現実的なユースケースを反映した絶対スコアリングタスクについて検討する。モデルのタスク精度は、その判断精度を強く予測することを示す。より有能な試験モデルは、すべての裁判官からより寛大な判断を受ける。
論文参考訳（メタデータ） (2026-09-10T00:25:39Z)
Ask the Right Comparison:Bias-Aware Bayesian Active Top-$k$ Ranking with LLM Judges [31.082191748525137]
大規模言語モデル(LLM)は、候補出力をペアで比較する、安価でスケーラブルな判断器として、ますます使われている。固定比較予算の下で,トップクアイテムを識別する実践的目標について検討する。我々は,次の比較を選択し,不確実性を最大に低減する,トップク対応のアクティブな獲得ルールを導入する。
論文参考訳（メタデータ） (2026-07-02T12:39:30Z)
Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。 K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。 EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
論文参考訳（メタデータ） (2026-05-22T08:26:08Z)
Calibrate, Don't Curate: Label-Efficient Estimation from Noisy LLM Judges [3.974554103907186]
ラベル付きキャリブレーションデータを用いたマルチジャッジ評価では、弱い判断を精度だけで破棄しないことが示されている。本稿では, 適切なスコアリングルール下での最適校正リスクが, 付加的な判定信号が利用可能になった場合に増大しないことを示すオラクル分析による逆転について説明する。
論文参考訳（メタデータ） (2026-05-10T18:49:58Z)
CyclicJudge: Mitigating Judge Bias Efficiently in LLM-based Evaluation [6.3121191919394475]
この研究は、ベンチマークスコアの分散をシナリオ、生成、判断、残留コンポーネントに分割する分散分解を導入する。この分析に基づいて, 審査員のシナリオへのラウンドロビンの割り当てであるCyclicJudgeが, 一定の審査-呼出予算の最適戦略であることを実証した。
論文参考訳（メタデータ） (2026-03-02T13:46:32Z)
Dependence-Aware Label Aggregation for LLM-as-a-Judge via Ising Models [55.94503936470247]
大規模なAI評価は、審査員を含む、$K$アノテータからのバイナリ判断を集約することにますます依存している。ほとんどの古典的なメソッドは、アノテータが条件的に独立であると仮定するが、真のラベルは$Yin0,1$であり、この仮定は LLM の審査員によってしばしば違反される。我々はIsingグラフィカルモデルと潜在因子に基づく依存認識モデルの階層構造を通してラベルアグリゲーションを研究する。
論文参考訳（メタデータ） (2026-01-29T21:26:50Z)
Quantitative LLM Judges [60.773734899532336]
本研究では,既存のLLM審査員の評価スコアを,与えられた領域内の人間と一致させる定量的LLM審査員を提案する。モデルは、その合理性とスコアを使用して、元の審査員のスコアを改善するために訓練される。実験の結果, 定量的な判断は, ポストホックモデリングにより, 既存の判断の予測力を向上できることがわかった。
論文参考訳（メタデータ） (2025-06-03T14:44:23Z)
JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
論文参考訳（メタデータ） (2024-10-16T17:58:19Z)
JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
論文参考訳（メタデータ） (2023-10-26T17:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。