論文の概要: JuryProbe: An Empirical Consensus-Risk Diagnostic for Routing Reference-Free Factuality Judge Panels to Grounded Verification
- arxiv url: http://arxiv.org/abs/2608.20607v1
- Date: Thu, 20 Aug 2026 23:11:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.271824
- Title: JuryProbe: An Empirical Consensus-Risk Diagnostic for Routing Reference-Free Factuality Judge Panels to Grounded Verification
- Title（参考訳）: JuryProbe: 基準自由形判定パネルを地中検証にルーティングするための経験的コンセンサス・リスク診断
- Abstract要約: JuryProbeは、基準のない事実性判断パネルのための実証的なコンセンサスリスク診断である。
偽陰性(FNのみ)判定相関と偽コンセンサスリフトを用いたラベル付き校正プローブからコンセンサスリスクを推定する。
- 参考スコア（独自算出の注目度）: 4.583541422554719
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Panels of inexpensive LLM judges increasingly make accept-or-escalate decisions. In factuality settings, accepting a claim because several reference-free judges agree can create a hidden risk: agreement may reflect shared false-negative blind spots rather than independent evidence. We introduce JuryProbe, an empirical consensus-risk diagnostic for reference-free factuality judge panels, paired with a calibration-based routing policy. JuryProbe estimates consensus risk from a labeled calibration probe using false-negative-only (FN-only) judge correlation and false-consensus lift; when flagged high-risk, reference-free majority accepts are routed to the same judges with trusted references. On audited FEVER corruptions, reference-free panels show correlated false negatives (FN-only correlations 0.402 and 0.368; lifts 3.13x and 18.13x), while unanimous false consensus drops to zero under a trusted-reference best-case diagnostic on both minimal-pair and non-minimal-pair evidence. In flagged settings, the routed policy is by construction equivalent to grounding every reference-free majority accept (verified in 34/34 splits): improvement comes from accept-conditioned grounding, while the diagnostic determines whether to activate it. A fixed, pre-specified rule flags 8-10 of 10 splits across synthetic, benchmark-authored, and scientific families and 0 of 10 on a negative control, where standing down avoids 28% of reference acquisitions at a 0.004 increase in false accepts. False-accept reduction persists under weak BM25 retrieval at substantial coverage cost, while stale stand-down labels require periodic recalibration. JuryProbe provides no formal risk guarantee and does not establish reliable stand-down on natural panels; its supported contribution is an empirical diagnostic of high-risk panel error dependence.
- Abstract（参考訳）: 安価なLLM審査員のパネルは、ますます受け入れまたはエスカレートする決定を下す。
事実性の設定では、いくつかの基準のない裁判官が同意したため、クレームを受け入れると、隠れたリスクが生じる可能性がある:合意は独立した証拠ではなく、共有された偽陰性な盲点を反映する可能性がある。
基準自由事実性判断パネルのための経験的コンセンサスリスク診断であるJuryProbeを校正に基づくルーティングポリシと組み合わせて紹介する。
JuryProbeは、偽陰性(FNのみ)判定相関と偽合意リフトを用いてラベル付き校正プローブからコンセンサスリスクを推定する。
監査されたFEVERの汚職では、基準のないパネルは相関する偽陰性(FNのみの相関式 0.402 と 0.368 、リフト 3.13x と 18.13x)を示し、一方、最小ペアと非最小ペアの両方の証拠に対する信頼と参照の最良の診断の下で、一致した偽の合意はゼロに落ちる。
フラグ付けされた設定では、ルーティングされたポリシーは、すべての参照なし多数決の受け入れを根拠にする(34/34の分割で検証される)ような構成である。
定式化された10の規則フラグ8-10は、合成され、ベンチマークが認可された、科学的な家系にまたがって分割され、負の制御で10の0が0となり、そこでは、虚偽の受け入れが0.004増加して参照取得の28%を回避する。
偽アクセプションの低減は、BM25の弱い検索の下でかなりのカバレッジコストで継続するが、古いスタンドダウンラベルは定期的な再校正を必要とする。
JuryProbeは、正式なリスク保証を提供しておらず、天然パネルの信頼性の高いスタンドダウンを確立していない。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Judge, Retrieve, or Abstain: Uncertainty-Guarded LLM Judging with Provable Risk Guarantees [16.73004625486562]
LLMを審査員として使用することは、大規模にモデル出力を評価するための標準的なプラクティスとなっている。
基準回答がない場合、審査員はパラメトリック知識またはツール拡張を通じて事実の正しさを評価する。
提案するリスク管理フレームワークは,不確実性のしきい値の正当性を判定し,ユーザの特定レベル以下で検証できる。
論文 参考訳（メタデータ） (2026-08-18T16:42:02Z) - Sharding Prevents LLM Oversight Failures and Adversarial Exploitation [45.380649793616705]
シャーディングは要求を小さなグループに分割し、各グループを別の呼び出しに割り当て、評決を集約する。
シャードの弱い裁判官は、より有能な総合的な裁判官よりも優れており、後者がパネルの全予算を受け取ったとしても、その裁判官と一致することができる。
論文 参考訳（メタデータ） (2026-08-05T18:21:21Z) - RoPoLL: Robust Panel of LLM Judges [0.48140562393133074]
我々は,ハマー汚染モデルの下でLLM Juryを定式化し,PoLLが任意の正の汚染下でバイアスを発生させることを示す。
本稿では,PoLLパネルを保存するが,アグリゲーション関数を頑健な平均推定器で置き換えるRoPoLL(LLM-as-JudgeのRobust Panel)を提案する。
論文 参考訳（メタデータ） (2026-06-29T21:34:27Z) - False Sense of Safety in Selective Signal Classification: Auditing Bound Tightness and Exchangeability for Risk Control [6.3999417080764225]
分布自由リスク制御による選択的な予測では、キャリブレーションドローに対する信頼度1-deltaでは、受け入れられた入力のエラー率は、ユーザ予算のアルファ値以下である。
我々はこの約束を、機械異常音検出(ASD)とAI生成画像鑑定という信号領域検出器で監査する。
論文 参考訳（メタデータ） (2026-06-13T06:48:50Z) - Relevant Is Not Warranted: Evidence-Force Calibration for Cited RAG [6.113159481005088]
我々は,エビデンス・フォース・キャリブレーションのためのコントラストストレステストであるForceBENCHを紹介する。
各項目は引用された節を固定し、エビデンス校正されたクレームと局所的な力評価された変種をペアに持つ。
ヘッドライン実験は固定された局所フィルター付き198ペア評価セットを使用する。
論文 参考訳（メタデータ） (2026-05-27T06:47:44Z) - SURE-RAG: Sufficiency and Uncertainty-Aware Evidence Verification for Selective Retrieval-Augmented Generation [6.604874054866016]
本稿では,証拠満足度がセットレベル特性であることを示す,透過的なアグリゲーションプロトコルSURE-RAGを提案する。
共有ペアレベルのクレームエビデンス検証器は、SURE-RAGが集約した局所的関係分布を解釈可能な応答レベル信号に生成する。
制御されたマルチホップベンチマークであるHotpotQA-RAG v3をアーティファクト・アウェア・プロトコルで評価した。
論文 参考訳（メタデータ） (2026-05-05T09:05:40Z) - Same Verdict, Different Reasons: LLM-as-a-Judge and Clinician Disagreement on Medical Chatbot Completeness [49.2667937337333]
不完全な患者の医療反応を検出するために,この仮定をストレステストする。
我々は,2つの臨床診断データセットにわたる3つの粒度(General-Likert,Analytical-Rubric,Dynamic-Checklist)と3つのバックボーンモデルを評価する。
論文 参考訳（メタデータ） (2026-03-26T19:01:55Z) - A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。
我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文 参考訳（メタデータ） (2026-02-04T15:13:35Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳（メタデータ） (2025-09-29T12:15:52Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z) - Correcting Underrepresentation and Intersectional Bias for Classification [49.1574468325115]
我々は、表現不足のバイアスによって破損したデータから学習する問題を考察する。
偏りのないデータの少ない場合、グループワイドのドロップアウト率を効率的に推定できることが示される。
本アルゴリズムは,有限VC次元のモデルクラスに対して,効率的な学習を可能にする。
論文 参考訳（メタデータ） (2023-06-19T18:25:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。