論文の概要: VoirDire: Counterfactual Calibration for Reliable LLM-as-a-Judge Aggregation
- arxiv url: http://arxiv.org/abs/2611.00491v1
- Date: Sat, 31 Oct 2026 00:33:11 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 20:01:27.282437
- Title: VoirDire: Counterfactual Calibration for Reliable LLM-as-a-Judge Aggregation
- Title（参考訳）: VoirDire: 信頼性の高いLCM-as-a-Judgeアグリゲーションの非現実的校正
- Abstract要約: 本稿では, LLM-judge パネルの介入校正法である VoirDire を紹介する。
VoirDireは、評価対象を保存しつつ、指定された表面属性を変化させる制御された介入を適用する。
次に、判定スコアのペア変更を使用して、ニュアンスに敏感な方向を識別する。
- 参考スコア（独自算出の注目度）: 22.433226412368864
- License:
- Abstract: LLM-as-a-judge systems often aggregate multiple judges to improve evaluation reliability. However, judge agreement can reflect shared biases toward verbosity, formatting, or fluency rather than the intended evaluation target. Addressing these shared biases is challenging because observational judge outputs alone cannot distinguish agreement driven by target quality from agreement driven by nuisance attributes. We introduce VoirDire, an intervention-calibrated aggregation method for LLM-judge panels. VoirDire applies controlled interventions that vary specified surface attributes while aiming to preserve the evaluation target; it then uses paired changes in judge scores to identify nuisance-sensitive directions. It attenuates these directions and selects aggregation weights that retain variation across items while penalizing sensitivity to the interventions, making the final consensus less dependent on superficial features. We show theoretically that observational judge outputs alone cannot identify which shared direction is target-relevant, while paired interventions provide the contrast needed to identify nuisance-sensitive variation. We evaluate VoirDire on 12 datasets spanning continuous scoring, binary classification, and pairwise preference. Compared with the existing LLM-judge aggregation baselines, VoirDire reduces MAE by up to 26.8% on continuous-score tasks and improves accuracy by up to 5.3 percentage points on binary and preference tasks. These findings suggest that counterfactual interventions provide an additional means of improving the reliability and controllability of LLM-based evaluation beyond merely relying on observed judge agreement.
- Abstract（参考訳）: LLM-as-a-judgeシステムは、評価信頼性を向上させるために複数の判断を集約することが多い。
しかし、判断合意は、意図された評価対象よりも、冗長性、フォーマッティング、あるいは流布に対する共有バイアスを反映することができる。
これらの共有バイアスに対処することは、観察的判断結果だけでは、目標品質によって駆動される合意と、ニュアンス属性によって駆動される合意を区別できないため、困難である。
本稿では, LLM-judge パネルの介入校正法である VoirDire を紹介する。
VoirDireは、評価対象の保存を目的として、指定された表面特性を変化させる制御された介入を適用し、次いで、判定スコアのペア変更を使用して、ニュアンスに敏感な方向を識別する。
これらの方向を減衰させ、介入に対する感受性を低下させつつ、各項目の変動を保った集合重みを選択することで、最終的なコンセンサスは表面的特徴に依存しない。
理論的には、観測員の出力だけでは、どの共有方向が目標関連であるかは特定できないが、ペアによる介入は、ニュアンスに敏感な変動を特定するのに必要なコントラストを提供する。
連続的なスコアリング、二分分類、ペアの選好にまたがる12のデータセットについてVoirDireを評価する。
既存のLLM-judgeアグリゲーションベースラインと比較して、VoirDireは、連続スコアタスクで最大26.8%MAEを削減し、バイナリタスクと優先タスクで最大5.3ポイントの精度を向上させる。
これらの結果から, 反実的介入は, 観察された判断合意にのみ依存するだけでなく, LLMに基づく評価の信頼性と制御性を向上させる追加の手段となることが示唆された。
関連論文リスト
- RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。
本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
論文 参考訳（メタデータ） (2026-08-25T08:35:04Z) - Stability vs. Manipulability: Evaluating Robustness Under Post-Decision Interaction in LLM Judges [0.519554837386174]
本研究では, 意思決定後の操作性について検討し, 審査員との会話を通じて評価結果が変更できる程度について検討した。
LLM審査員は、反復的かつ中立的な再評価の下で非常に安定しているが、目標決定後の課題下では、かなり可逆的になる。
これらの逆転は、人間の嗜好との合意を低下させ、ベンチマークのランクをシフトさせ、自己報告の信頼性が高いにもかかわらず有害な評価変更を発生させるという、実践的な結果をもたらす。
論文 参考訳（メタデータ） (2026-06-03T19:37:23Z) - Mitigating Perceptual Judgment Bias in Multimodal LLM-as-a-Judge via Perceptual Perturbation and Reward Modeling [35.945096782147864]
MLLMの裁判官は、視覚的証拠がテキストの手がかりと矛盾する場合、知覚的に正しい答えに対して、もっともらしい物語に報いる傾向がある。
本稿では,最小限に編集された反事実応答を構成するPerceptually Perturbed Judgmentデータセットを提案する。
我々は、構造化GRPOベースの報酬とバッチレベルの目標を組み合わせた統一的なトレーニングフレームワークを開発し、明示的なペアワイドラベルを使わずにコヒーレントなグローバルオーダを実現する。
論文 参考訳（メタデータ） (2026-06-01T17:59:46Z) - FairJudge: An Adaptive, Debiased, and Consistent LLM-as-a-Judge [10.584937371987742]
既存のLCM-as-a-Judgeシステムでは、タスクやドメイン固有の評価基準への適応性が制限されている。
適応的で、偏りがあり、一貫したLCM-as-a-JudgeであるFairJudgeを提案する。
論文 参考訳（メタデータ） (2026-02-06T11:35:32Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z) - Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。
ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。
我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
論文 参考訳（メタデータ） (2025-04-20T19:05:59Z) - Validating LLM-as-a-Judge Systems under Rating Indeterminacy [65.137380612741]
評価の不確定性の下でLLM-as-a-judgeシステムを検証するための枠組みを提案する。
本研究では, 強制選択評価指示に応答する際の評価の不確定性を人間とLLMがどう解決するかの相違が, 偏見の検証に大きく寄与することを示した。
論文 参考訳（メタデータ） (2025-03-07T22:09:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。