論文の概要: Competence, Not Accuracy: A Diagnostic for Reference-Free Judge Gates in Skill Optimization

• arxiv url: http://arxiv.org/abs/2608.18719v1
• Date: Wed, 19 Aug 2026 09:19:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.362231
• Title: Competence, Not Accuracy: A Diagnostic for Reference-Free Judge Gates in Skill Optimization
• Title（参考訳）: 技能最適化における基準自由判断ゲートの診断
• Abstract要約: テキスト空間スキル最適化は、自然言語スキルドキュメントを進化させ、検証ゲートを介して各候補を受け入れることで凍結エージェントに適応する。 審査員をループに配置する前に、そのスコアが不正な回答とは全く違うかどうかを判断できますか? 我々は、基準のない裁判官を潜在問題解決者として定式化し、その評決は、その結論と一致しているので、評価する能力は解決する能力によって制限される。 我々は、もし能力が床の近くにあり、その上に使用可能な場合、偶然に差別性を見出す。
• 参考スコア（独自算出の注目度）: 9.9751102700286
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-space skill optimization adapts a frozen agent by evolving a natural-language skill document, accepting each candidate through a validation gate. Existing gates rely on verifiable rewards, confining these methods to tasks with an automatic verifier. Replacing the verifier with an LLM-judge gate would lift that restriction, but whether such a gate carries usable signal is untested. We ask a prior question: can we tell, before placing a judge in the loop, whether its scores separate correct from incorrect answers at all? We formalize a reference-free judge as a latent solver -- its verdict rests on agreement with whatever it would itself conclude, so its capacity to evaluate is bounded by its capacity to solve. The model yields a closed-form bound on discriminability (ROC-AUC) in the judge's competence $c$ and answer-space size $k$, a necessary condition $c > 1/k$, and the result that the marginal AUC is confounded by item difficulty while a within-question estimator is not. A non-intervening probe records judge scores on genuine optimization runs without altering any decision. We find discriminability at chance where competence sits near the floor and usable above it; that a judge's benchmark accuracy overstates the competence that matters; and, in a closed-loop study, that the screen predicts which kind of gating error occurs. The result is a cheap pre-deployment diagnostic for judge gates.
• Abstract（参考訳）: テキスト空間スキル最適化は、自然言語スキルドキュメントを進化させ、検証ゲートを介して各候補を受け入れることで凍結エージェントに適応する。 既存のゲートは検証可能な報酬に依存しており、これらのメソッドを自動検証器でタスクに精算する。 LLM-judge ゲートで検証器をリプレースすると、その制限が解除されるが、そのようなゲートが使用可能な信号を持っているかどうかは不明である。 審査員をループに配置する前に、そのスコアが不正な回答とは全く違うかどうかを判断できますか? 我々は、基準のない審査員を潜在問題解決者として定式化する -- その判断は、その結論と一致しているため、その評価能力は解決する能力によって制限される。 このモデルは、審査員の能力である$c$と応答空間サイズ$k$、必要な条件$c > 1/k$において、識別可能性(ROC-AUC)に縛られる閉形式を生成する。 非干渉プローブは、決定を変更することなく、真の最適化動作の判定スコアを記録する。 審査員のベンチマークの精度は、重要な能力を誇張し、クローズドループの研究では、画面がどのようなゲーティングエラーが起こるかを予測している。 その結果、裁判官のゲートに対する安価な事前配備診断が得られた。

関連論文リスト

• LLM-as-a-Judge Is Not an Oracle: Why Self-Improving Agents Need Deterministic Guardrails [0.0]
  自己改善エージェントパイプラインは、その中心に問題がある。 評価信号は、判定バイアス、ハーネスとメートル法故障、地道エラー、報酬ハッキングの11のクラスで失敗した。 ProCTORは、ステートフルオーケストレータがすべてのツールアクセスを保持し、ステートレスサブエージェントが障害を診断し、それらが適用できないドラフト突然変異を診断する、教師と学生のループである。
  論文  参考訳（メタデータ） (2026-09-02T07:54:23Z)
• RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
  RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。 本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
  論文  参考訳（メタデータ） (2026-08-25T08:35:04Z)
• Judge, Retrieve, or Abstain: Uncertainty-Guarded LLM Judging with Provable Risk Guarantees [16.73004625486562]
  LLMを審査員として使用することは、大規模にモデル出力を評価するための標準的なプラクティスとなっている。 基準回答がない場合、審査員はパラメトリック知識またはツール拡張を通じて事実の正しさを評価する。 提案するリスク管理フレームワークは,不確実性のしきい値の正当性を判定し,ユーザの特定レベル以下で検証できる。
  論文  参考訳（メタデータ） (2026-08-18T16:42:02Z)
• SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
  自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。 自己検証を計算制御ポリシとして使用することを学ぶ。 マクロ平均精度は0.563で、平均で2.99回しか推測できない。
  論文  参考訳（メタデータ） (2026-07-30T16:20:58Z)
• Uncertainty-Aware Abstention in Large Language Models with Provable Alignment Guarantees [0.5371337604556311]
  大規模言語モデル (LLM) は質問応答システム (QA) に徐々にデプロイされている。 信頼度を見積もることなく、幻覚または不一致の応答を生成することができる。 我々は、任意の不確実性スコアをリスク制御された選択応答規則に変換する信頼区間に基づくキャリブレーションフレームワークであるCICを提案する。
  論文  参考訳（メタデータ） (2026-07-05T17:50:32Z)
• Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
  我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。 K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。 EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
  論文  参考訳（メタデータ） (2026-05-22T08:26:08Z)
• Calibrate, Don't Curate: Label-Efficient Estimation from Noisy LLM Judges [3.974554103907186]
  ラベル付きキャリブレーションデータを用いたマルチジャッジ評価では、弱い判断を精度だけで破棄しないことが示されている。 本稿では, 適切なスコアリングルール下での最適校正リスクが, 付加的な判定信号が利用可能になった場合に増大しないことを示すオラクル分析による逆転について説明する。
  論文  参考訳（メタデータ） (2026-05-10T18:49:58Z)
• C2-Faith: Benchmarking LLM Judges for Causal and Coverage Faithfulness in Chain-of-Thought Reasoning [0.6138671548064355]
  大型言語モデル (LLMs) は、チェーン・オブ・ソート (CoT) 推論の判断としてますます使われている。 C2-Faithは、因果性(各ステップは以前の文脈から論理的に従うのか? 二つの因果検出,因果ステップの定位,カバレッジスコアの3つの課題において,フロンティア判事の評価を行った。
  論文  参考訳（メタデータ） (2026-03-05T13:36:47Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• Best Arm Identification with LLM Judges and Limited Human [18.85883540190321]
  固定信頼ベストアーム識別(BAI)について検討する。 本研究では,各アームの平均値と逆正当性重み付け残差を結合した平均値の推定器を開発する。 推定器と信頼性シーケンスに基づいて,アームを適応的に選択し,監査するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-01-29T09:50:34Z)
• LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
  大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。 我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。 本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
  論文  参考訳（メタデータ） (2025-12-01T11:27:09Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
  本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。 その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。 VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
  論文  参考訳（メタデータ） (2025-05-17T04:16:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。