論文の概要: Judge, Retrieve, or Abstain: Uncertainty-Guarded LLM Judging with Provable Risk Guarantees

• arxiv url: http://arxiv.org/abs/2608.17994v1
• Date: Tue, 18 Aug 2026 16:42:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.407676
• Title: Judge, Retrieve, or Abstain: Uncertainty-Guarded LLM Judging with Provable Risk Guarantees
• Title（参考訳）: 裁判官, 審理, 又は不確実性: リスク保証のある不確かさを判断するLLM
• Abstract要約: LLMを審査員として使用することは、大規模にモデル出力を評価するための標準的なプラクティスとなっている。 基準回答がない場合、審査員はパラメトリック知識またはツール拡張を通じて事実の正しさを評価する。 提案するリスク管理フレームワークは,不確実性のしきい値の正当性を判定し,ユーザの特定レベル以下で検証できる。
• 参考スコア（独自算出の注目度）: 16.73004625486562
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Using LLMs as judges has become standard practice for evaluating model outputs at scale. This is particularly common for subjective, open-ended tasks such as assessing helpfulness or alignment, where no single reference answer exists. However, objective tasks introduce a distinct reliability challenge for reference-free LLM judging. In the absence of a reference answer, the judge evaluates factual correctness either through its parametric knowledge or through tool augmentation. Although the former enables efficient evaluation, the judge may hallucinate or lack sufficient evidence for its verdict. Conversely, tool augmentation can provide additional evidence but introduces extra computational cost and requires an appropriate mechanism to determine when and how that evidence should be used reliably. More importantly, neither approach alone provides formal control over the risk of accepted verdicts or guarantees their reliability at a specified level. We propose a risk-controlled framework that calibrates uncertainty thresholds on a held-out set so that the false discovery rate among accepted verdicts remains below a user-specified level~$α$ with high probability, using finite-sample Clopper--Pearson intervals. When the parametric mode is not sufficiently confident, the instance is routed to a retrieval-augmented mode, where the judge gathers web evidence and re-evaluates the instance under a second calibrated threshold. The finite-sample guarantee carries over to this two-threshold routing without additional assumptions. Across open-domain QA benchmarks and judges of varying scales, the framework maintains the target error rate while achieving substantially higher coverage than single-mode baselines.
• Abstract（参考訳）: LLMを審査員として使用することは、大規模にモデル出力を評価するための標準的なプラクティスとなっている。 これは特に、単一の参照応答が存在しない、有用性やアライメントを評価するなど、主観的でオープンなタスクに共通している。 しかし、客観的タスクは、参照なしLLM判定において、明確な信頼性の課題をもたらす。 基準回答がない場合、審査員はパラメトリック知識またはツール拡張を通じて事実の正しさを評価する。 前者は効果的に評価することができるが、裁判官は、その判決に対する十分な証拠を幻覚または欠如することがある。 逆に、ツール拡張は追加のエビデンスを提供するが、余分な計算コストを導入し、そのエビデンスをいつ、どのように確実に使用するべきかを決定する適切なメカニズムを必要とする。 さらに重要なのは、どちらのアプローチも承認された評定のリスクを公式に制御したり、特定のレベルで信頼性を保証したりしないことです。 本稿では,有限サンプルクロッパー-ピアソン間隔を用いて,予測値の誤検出率を高い確率でユーザ指定レベル~α$以下に抑えるために,保持集合上の不確実性しきい値の校正を行うリスク制御フレームワークを提案する。 パラメトリックモードが十分に自信を持っていない場合、インスタンスは検索強化モードにルーティングされ、裁判官はWebエビデンスを収集し、第2の校正しきい値の下でインスタンスを再評価する。 有限サンプル保証は、追加の仮定なしでこの2スレッドのルーティングを引き継ぐ。 オープンドメインのQAベンチマークとさまざまなスケールの判断で、このフレームワークはターゲットのエラー率を維持しつつ、シングルモードのベースラインよりもかなり高いカバレッジを実現している。

関連論文リスト

• Asymptotic Risk Calibration for Selective Question Answering [0.0]
  大規模言語モデル(LLM)は、流動性があるが誤った答えを生成する。 A-CRC-QAは不確実性を考慮した質問応答のためのポストホックキャリブレーションフレームワークである。 A-CRC-QAはモデルに依存しず、追加のトレーニングを必要とせず、異なる不確実性推定器と組み合わせることができる。
  論文  参考訳（メタデータ） (2026-08-12T12:45:45Z)
• Uncertainty-Aware Abstention in Large Language Models with Provable Alignment Guarantees [0.5371337604556311]
  大規模言語モデル (LLM) は質問応答システム (QA) に徐々にデプロイされている。 信頼度を見積もることなく、幻覚または不一致の応答を生成することができる。 我々は、任意の不確実性スコアをリスク制御された選択応答規則に変換する信頼区間に基づくキャリブレーションフレームワークであるCICを提案する。
  論文  参考訳（メタデータ） (2026-07-05T17:50:32Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• MCJudgeBench: A Benchmark for Constraint-Level Judge Evaluation in Multi-Constraint Instruction Following [8.500414706731036]
  本稿では,制約レベル判定のベンチマークであるMCJudgeBenchを紹介する。 各インスタンスには、命令、候補応答、明示的な制約リスト、Yes、部分的、ノー、制御された応答側の摂動を含む。 我々は、正確性と矛盾性の両方の指標を用いて、プロプライエタリかつオープンソースのLCM審査員を評価した。
  論文  参考訳（メタデータ） (2026-05-05T15:20:42Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• Noisy but Valid: Robust Statistical Evaluation of LLMs with Imperfect Judges [14.256638949961063]
  これに対応するために、"ノイズだが妥当"な仮説テストフレームワークを導入します。 本フレームワークは,キャリブレーションの不確実性にもかかわらず,有限サンプル型Iエラー制御(正当性)を理論的に保証する。
  論文  参考訳（メタデータ） (2026-01-28T18:05:06Z)
• LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
  大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。 我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。 本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
  論文  参考訳（メタデータ） (2025-12-01T11:27:09Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Mitigating LLM Hallucinations via Conformal Abstention [70.83870602967625]
  我々は,大言語モデルが一般ドメインでの応答をいつ無視すべきかを決定するための,原則化された手順を開発する。 我々は、幻覚率(エラー率)の厳密な理論的保証の恩恵を受けるため、共形予測手法を活用して、禁忌手順を開発する。 実験によって得られた共形禁忌法は, 種々の閉書, オープンドメイン生成質問応答データセットに, 幻覚率を確実に拘束する。
  論文  参考訳（メタデータ） (2024-04-04T11:32:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。