論文の概要: Rubric-Calibrated Preferences: Cross-Query Calibration of LLM Judgments via Item Response Theory

• arxiv url: http://arxiv.org/abs/2609.35739v1
• Date: Mon, 28 Sep 2026 17:54:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 19:18:02.244719
• Title: Rubric-Calibrated Preferences: Cross-Query Calibration of LLM Judgments via Item Response Theory
• Title（参考訳）: ルーブリック校正選好:項目応答理論によるLLM判断のクロスクエリ校正
• Abstract要約: リランカー同士が品質面で接近するにつれ、これらのラベルのnDCGは分離に失敗する傾向にある。 1つのクエリ内の相対的な判断は、クローズドな候補を区別するが、そのスコアはクエリ間でスケールを共有しない。 RCPの検索基準であるRCP-nDCGは、nDCGの離散ラベルを関連性確率に置き換える。
• 参考スコア（独自算出の注目度）: 12.433667036452265
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Rerankers decide which documents users and LLMs see, yet their standard metric, nDCG, relies on human relevance labels that are costly, sparse, noisy, and discretely graded. As rerankers approach each other in quality, nDCG on these labels therefore increasingly fails to separate them. LLM judges could supply dense labels. Relative judgments within one query tell even close candidates apart, yet their scores share no scale across queries. Absolute grades share one scale but are too coarse to distinguish documents of similar relevance. We propose Rubric-Calibrated Preferences (RCP), which combine both kinds of judgment. A listwise Bradley-Terry tournament orders each query's documents, and a rubric of yes/no criteria of increasing stringency provides an absolute standard. Item Response Theory (IRT), which scores test-takers based on their answers to common questions, then uses the shared criteria to put all queries' tournament scores on one scale. RCP's retrieval metric, RCP-nDCG, replaces nDCG's discrete labels with the resulting calibrated relevance probabilities. Against blind grades from 46 external annotators, calibration raises the correlation between a query's mean score and its mean human grade from 0.538 to 0.795. The probabilities rank a useful document above a non-useful one with probability 0.910 (AUC, chance 0.5), versus 0.651 for the benchmark labels. When the annotators' grades prefer one of two rerankers and exactly one metric agrees, that metric is RCP-nDCG in 72.4% of 185 comparisons (chance about 53%). On TREC-DL, RCP-nDCG sides with NIST assessors' grades on every reranker pair that these grades separate significantly. RCP-nDCG also resolves many of nDCG's ties and separates 1.9 times as many reranker pairs on NanoBEIR. Rubric calibration thus turns relative LLM judgments into dense relevance labels that are comparable across queries and agree with human judgment.
• Abstract（参考訳）: リランカは、利用者とLLMが見る文書を決定するが、標準的な基準であるnDCGは、費用がかかり、疎かで、ノイズがあり、離散的にグレードされた人間関連ラベルに依存している。 リランカーが品質面で接近するにつれて、これらのラベルのnDCGは分離に失敗する傾向にある。 LLMの審査員は高密度なラベルを供給できた。 1つのクエリ内の相対的な判断は、クローズドな候補を区別するが、そのスコアはクエリ間でスケールを共有しない。 絶対的なグレードは1つの尺度を共有するが、類似した関連性の文書を区別するには粗い。 両判断を組み合わせたRubric-Calibrated Preferences (RCP)を提案する。 リストワイズでBradley-Terryトーナメントが各クエリのドキュメントを注文し、ストリング性を高めるためのye/no基準のルーリックが絶対標準を提供する。 アイテムレスポンス理論(IRT)は、一般的な質問に対する回答に基づいてテストテイカーをスコアし、共有された基準を使用して、すべてのクエリのトーナメントスコアを1つの尺度に配置する。 RCPの検索基準であるRCP-nDCGは、nDCGの離散ラベルをキャリブレーションされた関連確率に置き換える。 46の外部アノテータのブラインドグレードに対して、キャリブレーションはクエリの平均スコアと平均人格との相関を0.538から0.795に引き上げる。 この確率は、確率0.910 (AUC, chance 0.5) の非有用な文書よりも有益であり、ベンチマークラベルは 0.651 である。 アノテーターの等級が2つのリランカーのうちの1つを好み、正確に1つのメートル法が一致するとき、計量は185の比較の72.4%のRCP-nDCG(以下、約53%)である。 TREC-DLでは、RCP-nDCG側とNIST評価器のグレードは、これらのグレードが著しく異なるリランカーペアごとに異なる。 RCP-nDCGはnDCGの多くの関係を解消し、NanoBEIR上のリランカー対の1.9倍を分離する。 ルーブリックキャリブレーションは、相対的なLCM判定を、クエリに匹敵する高密度な関連ラベルに変換し、人間の判断に一致する。

関連論文リスト

• Beyond Final-Token Classification: Heterogeneous Readouts for Evidence-Grounded Suicide Risk Detection [10.766937373263204]
  出力実現から意味的検証を分離するヘテロジニアス・リードアウト分解(HRD)を導入する。 HRDは、通常リスクの4つの潜伏スコアを比較し、ほとんどの要因に対してトークンマージンを保持し、一方の共有潜伏プローブを通して7つのラベルをルーティングする。 これらの結果は, セマンティック表現のみではなく, 解答境界を測定可能な誤差源として同定する。
  論文  参考訳（メタデータ） (2026-09-19T05:01:17Z)
• Counterfactual Bias Testing for Application Tracking System [1.007765066765576]
  本稿では,タスク特化LDMエージェントを用いて,アイデンティティニュートラルベース履歴を合成し,人口統計学的治療を注入する。 それは、微調整された文埋め込みモデルとコサイン類似性を通じて、ジョブ記述に対する候補をランク付けする。 カウンターファクトアル(スコアデルタ、平均絶対ランク変更、フリップレート)、グループフェアネス(トップK保持、4/5/インパクト比)、メリットアウェア(リコール@K、nDCG@K、平等機会、等化オッズ)にまたがる9メトリックフェアネススイートを計算する。
  論文  参考訳（メタデータ） (2026-08-27T10:01:36Z)
• Rank-Deviation Quality: A Distance-Aware Metric for Multi-Answer Retrieval and Ranking Evaluation [51.55909067323666]
  Rank-Deviation Quality (RDQ) は、検索およびランキングシステムの評価指標である。 検索された基準項目はそれぞれ、ランクずれペナルティによって乗算された出力位置重みに寄与する。 RDQは順序付きランキングで動作し、アノテータはペアワイドまたはリストワイドの判断によって生成することができる。
  論文  参考訳（メタデータ） (2026-08-26T03:00:18Z)
• CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
  本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
  論文  参考訳（メタデータ） (2026-05-19T10:59:19Z)
• RAPT: Retrieval-Augmented Post-hoc Thresholding for Multi-Label Classification [1.2599533416395765]
  本稿では、RAPTという、デプロイメント指向の検索強化スコア閾値ラッパーを提案する。 RAPTは、類似性検索のための文書表現とラベルの信頼度スコアのモデルに依存しないラッパーである。 工業環境では、RAPTはメートル法学習者による最高の予測性能を達成し、0.87マクロF1に達した。
  論文  参考訳（メタデータ） (2026-05-15T18:31:04Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Generating Unbiased Pseudo-labels via a Theoretically Guaranteed Chebyshev Constraint to Unify Semi-supervised Classification and Regression [57.17120203327993]
  分類におけるしきい値と擬似ラベルプロセス(T2L)は、ラベルの品質を決定するために信頼性を使用する。 本質的には、レグレッションは高品質なラベルを生成するためにバイアスのない方法も必要である。 チェビシェフの不等式に基づく不偏ラベルを生成するための理論的に保証された制約を提案する。
  論文  参考訳（メタデータ） (2023-11-03T08:39:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。