論文の概要: PRISM: Calibrating Black-Box Judges with Counterfactual Probes
- arxiv url: http://arxiv.org/abs/2610.18389v1
- Date: Tue, 13 Oct 2026 13:39:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.62136
- Title: PRISM: Calibrating Black-Box Judges with Counterfactual Probes
- Title（参考訳）: PRISM:ブラックボックスの審査員を非現実的捜査で仲裁
- Abstract要約: PRISMは、評価されたコンテンツを固定し、属性が強調されたり強調されていない場合のスコアの変化を測定する。
人間のラベルのリッジ回帰はベースラインスコアの補正を学習する。
PRISMとその学習ベースラインの変種は、校正されていないスコアよりも人間のランキングとの一致を著しく改善した。
- 参考スコア（独自算出の注目度）: 4.008552520886025
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are increasingly used as judges to reduce reliance on costly human evaluation, yet their scores can systematically disagree with human judgments. We ask whether responses to an explicitly imposed evaluative bias can help correct a judge's implicit scoring biases. We introduce PRISM (Probe-based Residual Inference of Scoring Misalignment), which holds the evaluated content fixed and measures score changes when attributes are emphasized or de-emphasized. A local sensitivity model motivates representing these responses as a surrogate Jacobian. Ridge regression on human labels learns a correction to the baseline score. The resulting scoring protocol is rubric-free: it uses overall scores without requesting criterion-level ratings. In the main Jev and Sol comparisons on SummEval summarization and HANNA story evaluation, PRISM and its learned-baseline variant significantly improve agreement with human rankings over uncalibrated scores while remaining competitive with rubric-based methods. A controlled SummEval comparison yields similar agreement for rubric-derived quality probes and style probes, supporting calibration without reproducing rubric criteria. The learned coefficients reveal shared and opposing correction directions across judges.
- Abstract（参考訳）: 大規模言語モデルは、コストのかかる人的評価への依存を減らすために、裁判官としてますます用いられるが、そのスコアは人的判断と体系的に一致しない可能性がある。
我々は、明示的に課された評価バイアスに対する応答が、裁判官の暗黙の採点バイアスを修正するのに役立つかどうかを問う。
PRISM(Probe-based Residual Inference of Scoring Misalignment)は,評価内容が固定され,属性が強調されたり強調されたりした場合のスコアの変化が測定される。
局所感度モデルはこれらの反応を代理ヤコビアンとして表す。
人間のラベルのリッジ回帰はベースラインスコアの補正を学習する。
結果のスコアリングプロトコルはルーリックフリーで、基準レベルのレーティングを要求せずに総合スコアを使用する。
SummEval の要約と HANNA のストーリー評価に関する Jev と Sol の比較では、PRISM とその学習ベースラインの変種は、ルーブリックベースの手法と競合しながら、未校正スコアよりも人格との一致を著しく改善した。
制御されたSummEval比較は、ルーブリック由来の品質プローブとスタイルプローブに類似した一致を示し、ルーブリック基準を再現することなくキャリブレーションをサポートする。
学習された係数は、裁判官間で共有および反対の補正方向を明らかにする。
関連論文リスト
- JuryFlow: Disagreement-Guided Human-in-the-Loop Multi-Agent Evaluation [0.8411385346896411]
JuryFlowは、マルチエージェント評価フレームワークである。
人間は構造的なガイドとして働き、どの不一致を解決すべきかを選択する。
JuryFlowは、単一ジョブと多数投票のパネルベースラインに対するゴールドレーベルとの合意を改善している。
論文 参考訳（メタデータ） (2026-09-30T16:36:04Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳（メタデータ） (2025-09-29T12:15:52Z) - Beyond the Surface: Measuring Self-Preference in LLM Judgments [35.66285592603435]
大規模言語モデル(LLM)は、裁判官として機能する際の自己選好バイアスを示す。
既存の方法は、審査員モデルが割り当てるスコアと、他のモデルからのレスポンスに割り当てるスコアの差を計算することで、このバイアスを測定するのが一般的である。
そこで本研究では,自己選好バイアス(自己選好バイアス)を測定するDBGスコアを提案する。
論文 参考訳（メタデータ） (2025-06-03T08:12:47Z) - Large Language Models are not Fair Evaluators [60.27164804083752]
候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。
この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。
この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T07:41:03Z) - Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。
我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。
提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
論文 参考訳（メタデータ） (2023-05-24T06:19:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。