論文の概要: Follow the Policy, Fail the Benchmark: Auditing and Revising Policy-Based Decision Benchmarks

• arxiv url: http://arxiv.org/abs/2611.07042v1
• Date: Wed, 04 Nov 2026 19:04:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.431129
• Title: Follow the Policy, Fail the Benchmark: Auditing and Revising Policy-Based Decision Benchmarks
• Title（参考訳）: 政策をフォローし、ベンチマークに失敗する: 政策に基づく決定ベンチマークの監査と改訂
• Abstract要約: 政策ベースの意思決定ベンチマークは、システムが金融や運用のケースに記述されたルールを適用するかどうかを評価する。 我々は、ソーストレース、プログラム実行、制御されたチェックを通じて、9つの公開ポリシーベースの意思決定ベンチマークを監査する。 解決されたステップとして、サポート対象のターゲット、リプレイや伝播に生き残る参照エラー、許容された回答や信用の不完全な決定を拒否する評価者を見つけます。
• 参考スコア（独自算出の注目度）: 3.33125242674959
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Policy-based decision benchmarks evaluate whether systems apply written rules to financial and operational cases. Yet a rule-following response can be marked wrong when the benchmark misstates the required decision. We audit nine public policy-based decision benchmarks through source tracing, program execution, and controlled checks. We find unsupported targets, reference errors that survive replay or propagate as solved steps, and evaluators that reject acceptable answers or credit incomplete decisions. To measure the scoring impact, we rescore unchanged model responses. On the 96 LegalBench SARA numeric cases, correcting the scorer raises acceptance by more than 80 percentage points for each of three models, without changing references or responses. In RuleArena Tax, restoring a required zero floor changes 27 of 300 references and narrows an observed model gap. A controlled federal-exemption task with explicit ownership and eligibility assumptions also shows that errors in supplied intermediate answers can affect final decisions. We present BAR (Benchmark Audit and Revision), a versioned collection of audit evidence and revisions for reevaluation.
• Abstract（参考訳）: 政策ベースの意思決定ベンチマークは、システムが金融や運用のケースに記述されたルールを適用するかどうかを評価する。 しかし、ベンチマークが要求された決定を誤記した場合、ルール追従の応答は誤る可能性がある。 我々は、ソーストレース、プログラム実行、制御されたチェックを通じて、9つの公開ポリシーベースの意思決定ベンチマークを監査する。 解決されたステップとして、サポート対象のターゲット、リプレイや伝播に生き残る参照エラー、許容された回答や信用の不完全な決定を拒否する評価者を見つけます。 スコアリングの影響を測定するため、モデル応答を再スコアする。 96のLegalBench SARAの数字の場合、スコアの修正は、参照や応答を変更することなく、3つのモデルのそれぞれに対して80パーセント以上の割合で受け入れられる。 RuleArena Taxでは、必要なゼロフロアを復元すると、300の参照のうち27が変更され、観測されたモデルギャップが狭まる。 明確な所有権と適格性の仮定を持つ連邦免除タスクは、供給された中間回答のエラーが最終決定に影響を及ぼすことを示す。 BAR(Benchmark Audit and Revision)は、監査証拠のバージョニングと再評価のための改訂である。

関連論文リスト

• Confidence-Calibrated Inference Expansion for Evaluator-Guided Test-Time Reasoning [50.42640957891911]
  評価器誘導推論のためのコンピュータ対応3動作制御器を開発した。 ロールアウト型継続サロゲートによる回答の成功と拡張を予測して端末動作を評価する。 我々は,不明瞭な判断に対する局所的不確実性を考慮した行動特異的信頼度推定を学習し,校正する。
  論文  参考訳（メタデータ） (2026-10-14T19:25:23Z)
• AdaptEvo: Learning under Imperfect Supervision through Confidence-Adaptive Training with Knowledge Evolution [0.0]
  AdaptEvoは、不完全な監督の下で学習するためのフレームワークである。 トレーニングモジュールは、信頼性適応GRPOを使用して、結果のバランスと、基準信頼度に応じた報酬の処理を行う。 Evolutionモジュールは、トレーニングケース間で繰り返し発生する障害から再利用可能な決定知識を合成する。
  論文  参考訳（メタデータ） (2026-10-08T06:47:41Z)
• InsClaimBench: Benchmarking Insurance Claim Adjudication Across the Decision Chain [8.478567992957428]
  InsClaimBenchは、意思決定チェーン全体で保険請求の判断を評価するためのエンドツーエンドのベンチマークである。 それは、各クレームを、判断と金額の支払いのための判断モジュールを通じて、原子規則から評価する。 6つの大きな言語モデルの評価は、決定連鎖に沿って信頼性が徐々に低下していることを明らかにする。
  論文  参考訳（メタデータ） (2026-10-07T08:35:23Z)
• VeriFine: Scaling Verification for Self-Improvement in Embodied Reasoning [80.69185348729495]
  我々は,政策の共進化,訓練カリキュラム,審査を通じて検証をスケールする枠組みを導入する。 ポリシー改善ループは、繰り返し発生する障害を診断し、適応的なカリキュラムを構築し、ポリシーを最適化するためにルーリックな判断を使用する。 運転およびロボットナビゲーションタスクの実験は、ポリシーと判断能力の両方において継続的な自己改善を示す。
  論文  参考訳（メタデータ） (2026-10-06T17:50:29Z)
• Benchmarking candidate coverage and rejection policy transfer in typed decision models [7.736174008951463]
  公開参照ラベルを用いてLaya,Jev,Qwen2.5-7B-Instructを比較した。 ソースキャリブレーションは、しばしばターゲットの動作点を保存するのに失敗する。 10の意図的候補を持つLayaは、スコープ外クエリの99.0%を検出するが、カバークエリの48.8%を拒否する。
  論文  参考訳（メタデータ） (2026-10-02T14:36:46Z)
• ARCCS: An Automated Regulatory Compliance Checking System [49.57272688915973]
  ARCCSは、コンプライアンスチェックのためのエンドツーエンド、自動化、エージェント、および規制に依存しない法的なNLPシステムである。 我々は、コンプライアンスチェックのための、エンドツーエンド、自動化、エージェント、および規制に依存しない法定NLPシステムであるARCCSを提案する。
  論文  参考訳（メタデータ） (2026-10-01T09:17:22Z)
• Escaping the Agreement Trap: Defensibility Signals for Evaluating Rule-Governed AI [0.6138671548064355]
  我々は、政策的正当性として評価を定式化し、Defensibility Index(DI)とAmbiguity Index(AI)を導入する。 フレームワークを複数のコミュニティで193,000以上のRedditモデレーション決定と評価コホートで検証する。
  論文  参考訳（メタデータ） (2026-04-22T18:05:29Z)
• The Decisive Power of Indecision: Low-Variance Risk-Limiting Audits and Election Contestation via Marginal Mark Recording [51.82772358241505]
  リスクリミット監査(リスクリミット監査、RLA)は、大規模な選挙の結果を検証する技術である。 我々は、効率を改善し、統計力の進歩を提供する監査の新たなファミリーを定めている。 新しい監査は、複数の可能なマーク解釈を宣言できるように、キャストボイトレコードの標準概念を再考することで実現される。
  論文  参考訳（メタデータ） (2024-02-09T16:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。