論文の概要: Quantiles, Not Points: Streaming Quantile Matching for Ordinal-Aware LLM-as-a-Judge Calibration
- arxiv url: http://arxiv.org/abs/2611.00447v1
- Date: Fri, 30 Oct 2026 23:02:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.405364
- Title: Quantiles, Not Points: Streaming Quantile Matching for Ordinal-Aware LLM-as-a-Judge Calibration
- Title（参考訳）: 点ではない量子: LLM-as-a-Judge校正のためのストリーミング量子マッチング
- Abstract要約: LLMaJスコアは、孤立点ではなく分布から引き出される順序的評価である。
LLMaJキャリブレーションにマークされていない古典的手法のストリーム量子マッチング(SQM)について述べる。
- 参考スコア（独自算出の注目度）: 2.426432116276325
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM-as-a-judge scores are often distributionally shifted from human ratings on any given evaluation task, and post-hoc calibration (mapping LLM to human scores in a small labeled anchor set) has become a popular method to correct for this shift. In this paper we derive the calibration from two positions: that LLMaJ scores are ordinal ratings drawn from a distribution rather than isolated points. We present streaming quantile matching (SQM), a version of a classical method not previously bench marked for LLMaJ calibration, which is built on the two positions by computing the optimal-transport map between the LLM and human score distributions. We develop an evaluation framework and within it we show that unlike point-wise calibrations, SQM respects the ordinality of the human anchor set and achieves the best distributional fidelity and the top overall rank across models and data. We also show that in general, post-hoc calibration narrows the raw error gap between smaller and larger judge models, which opens the possibility of more efficient LLM judges.
- Abstract（参考訳）: LLM-as-a-judgeスコアは、任意の評価タスクにおける人格評価から分布的にシフトすることが多く、ポストホックキャリブレーション(LLMを小さなラベル付きアンカーセットで人格にマッピングする)は、このシフトを補正するための一般的な方法となっている。
本稿では,LLMaJスコアが孤立点ではなく分布から引き出される順序付け値である,という2つの位置からキャリブレーションを導出する。
LLMaJキャリブレーションにマークされていない古典的手法であるストリーミング量子マッチング(SQM)について,LLMとヒトのスコア分布の最適トランスポートマップを計算し,その2つの位置上に構築した。
評価フレームワークを開発し,その内部において,SQMが人間のアンカー集合の順序性に敬意を払い,最適な分布の忠実度とモデルとデータ全体の上位ランクを達成していることを示す。
また、一般に、ポストホックキャリブレーションは、より効率的なLCM判定の可能性を開放する、より小さな判断モデルと大きな判断モデルの間の生の誤差ギャップを狭めることを示す。
関連論文リスト
- LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。
追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。
いくつかのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-07-06T17:59:35Z) - From Uncertain Judgments to Calibrated Rankings: Conformal Elo Estimation for LLM Evaluation [3.5637034560362935]
2つの相補的なレベルで、結果の判断と人間の意見の不一致を定量化する。
地方レベルでは、審査員自身のスコア差から、各戦場における不確実性を推定する。
これだけでも、Elo推定精度を大幅に改善する。
論文 参考訳（メタデータ） (2026-06-11T11:38:05Z) - Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。
要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
論文 参考訳（メタデータ） (2026-02-07T19:39:28Z) - Am I More Pointwise or Pairwise? Revealing Position Bias in Rubric-Based LLM-as-a-Judge [17.255487260595565]
ルーブリックに基づく評価は、暗黙的に複数の選択設定に似ており、したがって位置バイアスを有することを示す。
そこで我々は,各スコアオプションを均等に配置するバランスの取れた置換戦略を提案する。
論文 参考訳（メタデータ） (2026-02-02T15:24:37Z) - AXIOM: Benchmarking LLM-as-a-Judge for Code via Rule-Based Perturbation and Multisource Quality Calibration [28.117814524373667]
AXIOMは、大規模なコード評価ベンチマークを合成するための新しい摂動ベースのフレームワークである。
プログラムスコアをデプロイメントに必要な改善作業として再設定する。
論文 参考訳（メタデータ） (2025-12-23T08:39:22Z) - Calibratable Disambiguation Loss for Multi-Instance Partial-Label Learning [53.9713678229744]
MIPL(Multi-instance partial-label Learning)は、インスタンス空間とラベル空間の両方において、不正確な監督の課題に対処する弱い教師付きフレームワークである。
既存のMIPLアプローチは、しばしばキャリブレーションが悪く、信頼性を損なう。
分類精度と校正性能を同時に向上するプラグアンドプレイ校正型曖昧さ損失(CDL)を提案する。
論文 参考訳（メタデータ） (2025-12-19T16:58:31Z) - Bridging Human and LLM Judgments: Understanding and Narrowing the Gap [39.90675202514829]
大規模言語モデルは、モデルアウトプットを大規模に評価するために、審査員(LLM-as-a-judge)として使われることが多い。
我々は、人間とLLMの評価を明示的に橋渡しする統一統計フレームワークであるBridgeを提案する。
論文 参考訳（メタデータ） (2025-08-18T10:14:20Z) - Quantitative LLM Judges [60.773734899532336]
本研究では,既存のLLM審査員の評価スコアを,与えられた領域内の人間と一致させる定量的LLM審査員を提案する。
モデルは、その合理性とスコアを使用して、元の審査員のスコアを改善するために訓練される。
実験の結果, 定量的な判断は, ポストホックモデリングにより, 既存の判断の予測力を向上できることがわかった。
論文 参考訳（メタデータ） (2025-06-03T14:44:23Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳（メタデータ） (2021-02-22T07:22:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。