論文の概要: Rubric Judgments Lack Uncertainty: Conformal Weighting for LLM Evaluation

• arxiv url: http://arxiv.org/abs/2610.21214v1
• Date: Thu, 15 Oct 2026 04:06:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.173166
• Title: Rubric Judgments Lack Uncertainty: Conformal Weighting for LLM Evaluation
• Title（参考訳）: ルブリックジャッジメントの不確かさ:LLM評価のためのコンフォーマルウェイト化
• Abstract要約: 不確実性認識重み付け(Uncertainty-Aware Weighting,URW)は、コンフォメーションキャリブレーションによる基準レベルの判定の不確かさを定量化する、トレーニング不要のフレームワークである。 URWはペアの好みの精度を一貫して改善し、より強力な下流アライメントを提供する。
• 参考スコア（独自算出の注目度）: 45.16601660676727
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rubric-based evaluation is widely used to assess large language model (LLM) outputs by decomposing quality into multiple criteria and assigning each a binary judgment from an LLM verifier. However, judgment certainty varies substantially across criteria. Existing methods uniformly aggregate these judgments into a final score, implicitly treating every criterion as equally certain and overlooking this heterogeneity. As a result, uncertain judgments remain incorporated into reward estimation without distinction, potentially yielding misleading training signals for downstream reinforcement learning (RL). To address this limitation, we propose Uncertainty-aware Rubric Weighting (URW), a training-free framework that quantifies criterion-level judgment uncertainty via conformal calibration. Specifically, URW elicits a soft uncertainty signal from a fixed pool of paraphrased judgment templates and converts it into a per-criterion weight using split-conformal $p$-values with provable coverage guarantees. Extensive experiments demonstrate that URW consistently improves pairwise preference accuracy and delivers stronger downstream RL alignment.
• Abstract（参考訳）: ルーブリックに基づく評価は,LLM検証器から品質を複数の基準に分解し,それぞれに二項判定を割り当てることで,大規模言語モデル(LLM)の出力を評価するために広く用いられている。 しかし、判断の確実性は基準によって大きく異なる。 既存の手法はこれらの判断を最終スコアに統一的に集約し、全ての基準を等しく確実なものとして暗黙的に扱い、この異種性を見落としている。 その結果、不確実な判断は相違なく報酬推定に組み込まれており、下流強化学習(RL)のための誤った学習信号が得られる可能性がある。 この制限に対処するため,コンフォメーションキャリブレーションによる基準レベル判定の不確実性を定量化するトレーニングフリーフレームワークであるUncertainty-aware Rubric Weighting (URW)を提案する。 具体的には、URWは、パラメータ付き判定テンプレートの固定プールからソフト不確実性信号を抽出し、証明可能なカバレッジ保証付きスプリットコンフォーマルな$p$-値を用いて、基準単位の重みに変換する。 大規模な実験により、URWはペアの選好精度を一貫して改善し、下流のRLアライメントをより高めることが示されている。

関連論文リスト

• Judge, Retrieve, or Abstain: Uncertainty-Guarded LLM Judging with Provable Risk Guarantees [16.73004625486562]
  LLMを審査員として使用することは、大規模にモデル出力を評価するための標準的なプラクティスとなっている。 基準回答がない場合、審査員はパラメトリック知識またはツール拡張を通じて事実の正しさを評価する。 提案するリスク管理フレームワークは,不確実性のしきい値の正当性を判定し,ユーザの特定レベル以下で検証できる。
  論文  参考訳（メタデータ） (2026-08-18T16:42:02Z)
• Uncertainty-Aware Abstention in Large Language Models with Provable Alignment Guarantees [0.5371337604556311]
  大規模言語モデル (LLM) は質問応答システム (QA) に徐々にデプロイされている。 信頼度を見積もることなく、幻覚または不一致の応答を生成することができる。 我々は、任意の不確実性スコアをリスク制御された選択応答規則に変換する信頼区間に基づくキャリブレーションフレームワークであるCICを提案する。
  論文  参考訳（メタデータ） (2026-07-05T17:50:32Z)
• CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
  本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
  論文  参考訳（メタデータ） (2026-05-19T10:59:19Z)
• LLMs Uncertainty Quantification via Adaptive Conformal Semantic Entropy [1.3254304182988286]
  本稿では,アダプティブ・コンフォーマル・セマンティック・エントロピー(ACSE, Adaptive Conformal Semantic Entropy)を提案する。 我々の不確実性スコアリング機能は、同じプロンプトに対する複数の多様な応答のクラスタリングセマンティックエントロピーに基づいている。 我々のアプローチは、最先端の不確実性定量化ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-05T20:56:11Z)
• SCOPE: Selective Conformal Optimized Pairwise LLM Judging [16.73004625486562]
  大規模言語モデル (LLMs) は、コストのかかる人間の選好ラベルをペア評価で置き換えるために、裁判官としてますます使われている。 実用性にも拘わらず、LLMの審査員は、誤校正や体系的な偏見に悩まされる傾向にある。 本稿では,有限サンプル統計保証から選択的に判断するフレームワークであるSCOPEを提案する。
  論文  参考訳（メタデータ） (2026-02-13T17:10:43Z)
• Calibration Is Not Enough: Evaluating Confidence Estimation Under Language Variations [49.84786015324238]
  信頼度推定(CE)は、大きな言語モデル(LLM)の回答がどれほど信頼性が高いかを示し、ユーザの信頼と意思決定に影響を与える可能性がある。 本稿では,CEの信頼性を3つの新しい側面で評価する総合評価フレームワークを提案する。 これには、急激な摂動に対する自信の堅牢性、意味論的に等価な答えに対する安定性、意味論的に異なる答えに対する感受性が含まれる。
  論文  参考訳（メタデータ） (2026-01-12T23:16:50Z)
• LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
  大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。 我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。 本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
  論文  参考訳（メタデータ） (2025-12-01T11:27:09Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。