論文の概要: No Judgment Without a Reason: Counterfactual Receipts for Versioned AI Evaluators

• arxiv url: http://arxiv.org/abs/2608.20938v1
• Date: Fri, 21 Aug 2026 10:01:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.501682
• Title: No Judgment Without a Reason: Counterfactual Receipts for Versioned AI Evaluators
• Title（参考訳）: 推論なしで判断する - バージョン付きAI評価器のファクトリセプト
• Abstract要約: 評価者はしばしば、欠陥のある推論、エージェントシステムの致命的な失敗、レビューのルーティング、トレーニングフィードバックの提供を通じて、正しいラベルを生成する。 根拠,規範,権威の3つのコアソースを通じて,評価者による説明責任の定式化を行う。これらのソースを評価すれば,判断更新を特徴付ける8セルの逆実判定キューブが得られる。 信頼に値する評価のための標準精度とともに、予測と認定を分離し、変換の一貫性を報告しなければならない。
• 参考スコア（独自算出の注目度）: 10.23869027501654
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Evaluators often produce correct labels via flawed reasoning, a critical failure for agentic systems gating actions, routing reviews, or supplying training feedback. Standard evaluation only verifies final label correctness, ignoring whether judgment changes stem from valid evidence, consistent rules, or proper rule applicability. We formalize evaluator reasoning accountability via three core sources: grounds, norms, and authority. Varying these sources yields an eight-cell counterfactual judgment cube to characterize judgment updates. We define judgment receipts as minimal source replacement sets that reproduce revised verdicts to explain judgment transitions. We derive certification cost bounds for black-box evaluators and present ReasonBench, a policy and logical reasoning benchmark with verifiable receipts covering 19,520 cases and 7,200 controls. In frozen evaluations, Qwen3-1.7B reaches 98.41% receipt accuracy, while cube prediction scores 96.99%, a consistent 1.42-point drop validated by Qwen3-0.6B replication. Strong standard accuracy masks severe robustness flaws. Meaning-preserving source permutations reduce valid receipt recovery to 54.8% and 49.2% for direct and cube prediction. Models trained on simple single-source changes retain 93.75% verdict accuracy but recover only 7.16% of receipts for complex multi-source updates. Permutation retraining boosts consistency to 96.6% yet worsens cube prediction deficits. Structured counterfactual supervision fails to guarantee robust reasoning. We show reason-aware evaluation must decouple prediction and certification, reporting transformation consistency alongside standard accuracy for trustworthy evaluator auditing.
• Abstract（参考訳）: 評価者はしばしば、欠陥のある推論、エージェントシステムの致命的な失敗、レビューのルーティング、トレーニングフィードバックの提供を通じて、正しいラベルを生成する。 標準評価は最終ラベルの正当性のみを検証し、判断の変更が有効な証拠、一貫した規則、あるいは適切な規則の適用性に起因するかどうかを無視している。 我々は、3つのコアソース(グラウンド、ノルム、権威)を通して、説明責任を評価するための評価者を定式化する。 これらのソースを無効にすると、8セルの逆実判定キューブが生成し、判定更新を特徴づける。 我々は、判断の遷移を説明するために、修正された判断を再現する最小のソース置換セットとして判断レシートを定義する。 ブラックボックス評価器の認証コストバウンダリと,19,520件のレシートと7,200件のコントロールを検証可能なポリシおよび論理的推論ベンチマークであるReasonBenchを導出する。 凍結評価では、Qwen3-1.7Bは98.41%の精度に達し、キューブ予測スコア96.99%は、Qwen3-0.6B複製で検証された1.42点の低下である。 強力な標準精度マスクは、深刻な堅牢性欠陥をマスクする。 平均保存ソース置換は、直接および立方体予測のために有効なレシートリカバリを54.8%と49.2%に削減する。 単純な単一ソースの変更で訓練されたモデルは93.75%の精度を維持しているが、複雑なマルチソース更新のためのレシートの7.16%しか回収できない。 置換の再訓練により一貫性は96.6%に向上するが、立方体予測の欠陥は悪化する。 構造的対実的な監督は、堅牢な推論を保証するのに失敗する。 信頼性評価のための標準精度とともに、予測と認定を分離し、変換の一貫性を報告しなければならない。

関連論文リスト

• Claim-Level Reliability Assessment for Efficient Test-Time Reasoning [9.168249719115845]
  テストタイムスケーリングの原則としてクレームレベルのファルシフィケーションを提案し、Claim-Level Reliability Assessment (CLR) を通じてそれをインスタンス化する。 CLRは、追加のソリューションサンプリングからターゲット検証まで、テスト時間計算を再配置する。
  論文  参考訳（メタデータ） (2026-08-12T12:33:05Z)
• Cross-Fitted Residual Utility for Primary-Preserving Cognitive Decision Correction in Automatic Modulation Classification [1.547549252134621]
  本稿では,クロスフィット型残効ユーティリティとプライマリ保存型認知決定ポリシーを用いて,推論後の問題について検討する。 構造化されたkan-Fourier分類器はデフォルトの確率を提供し、ニューラルおよび非ニューラル候補は観測可能な証拠を提供する。 RMLA、RMLB、HISARでは、完全なシステムは全体の精度を63.632%から66.332%、65.161%から66.168%、77.769%から79.867%に改善している。
  論文  参考訳（メタデータ） (2026-08-03T11:07:37Z)
• Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
  セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。 以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。 我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
  論文  参考訳（メタデータ） (2026-07-30T16:22:13Z)
• SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
  自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。 自己検証を計算制御ポリシとして使用することを学ぶ。 マクロ平均精度は0.563で、平均で2.99回しか推測できない。
  論文  参考訳（メタデータ） (2026-07-30T16:20:58Z)
• Share the Judge, Learn the Deferral: Where Specialization Helps LLM Evaluation [0.1269104766024433]
  99,952 の公試例について検討した。 正しいルーブリックを供給すると、応答のみの制御よりもロックテストの精度が2.11ポイント向上する。 RewardBench 2では、報酬スコアを変更することなく0.6B-4B-8Bカスケードを通した正当性ヘッドの例を学習した。
  論文  参考訳（メタデータ） (2026-07-30T10:29:22Z)
• Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
  教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。 推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。 これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
  論文  参考訳（メタデータ） (2026-06-09T16:14:27Z)
• Pause and Reflect: Conformal Aggregation for Chain-of-Thought Reasoning [8.024041325202612]
  自己整合性を考慮した思考の連鎖(CoT)推論は、複数のサンプル推論パスを集約することで性能を向上させる。 集約不確実性に直接対処するCoT推論のコンフォメーション手順を導入する。 提案手法は,多数決を推理経路よりも重み付けしたスコアアグリゲーションに置き換え,共形リスク制御を用いた棄権規則を校正する。
  論文  参考訳（メタデータ） (2026-05-13T20:33:59Z)
• Calibrated Selective Fact-Checking via Evidence Chain Evaluation [0.16921396880325776]
  エビデンス・チェイン・アセスメント(Evidence Chain Evaluation、ECE)は、不確実な判定による棄権を認める選択的な事実チェックフレームワークである。 ECEは標準精度91.6%、カバレッジ93.7%、回答されたクレームに対する選択精度97.8%を達成している。
  論文  参考訳（メタデータ） (2026-04-15T02:48:05Z)
• Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
  本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。 我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
  論文  参考訳（メタデータ） (2026-04-03T15:19:46Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。