論文の概要: Rubrics Carry the Standard: Shapley Attribution for Checklist-Based LLM Judges

• arxiv url: http://arxiv.org/abs/2610.24971v1
• Date: Sun, 18 Oct 2026 03:01:24 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:33:13.242708
• Title: Rubrics Carry the Standard: Shapley Attribution for Checklist-Based LLM Judges
• Title（参考訳）: ラグビーのスタンダード:チェックリストベースのLCM審査員への賛否両論
• Abstract要約: モデルにレビューを依頼することで,ルーブリックを改善することができることを示す。 自己レビューは、ユニークな作業を行うチェックを削除し、偽の証明を引き起こすチェックを保持します。 これらの量とラベル由来のチェックの凍結を組み合わせた変更制御ゲートは、その開始品質でほぼすべてのドリフトリビジョンチェーンを保持する。
• 参考スコア（独自算出の注目度）: 1.7138721997283346
• License:
• Abstract: Checklist rubrics applied by large language model (LLM) judges have become a standard instrument for evaluating open-ended outputs and for rewarding them during training. Two assumptions surround this practice: that leniency or strictness is a property of the judge model, and that a rubric can be improved by asking a model to review it. We test both in a controlled grading task with planted flaws and on two human-labeled datasets, SummEdits and RAGTruth. Holding the judge and the outputs fixed, rubric content moves the pass rate of correct outputs from 2% to 100%, whereas changing the judge model or the rendering of the same checks moves it by a few points. Model self-review then drifts the rubric toward the reviser's own standard: it adds requirements the task never stated and deletes checks that human labels had taught, with three reviser models and on all three datasets. To measure and control this, we show that under all-must-pass aggregation the Shapley value of each check has an exact closed form, which yields per-check catch credit, false-fail blame and unique catches in linear time. Attribution shows that self-review deletes the checks that do unique work and keeps the checks that cause false fails. A change-control gate that combines these quantities with a provenance freeze on label-derived checks holds nearly every drifting revision chain at its starting quality, with identical decisions under three judge models.
• Abstract（参考訳）: 大規模言語モデル(LLM)の審査員が適用したチェックリストルブリックは、オープンエンド出力の評価とトレーニング中の報酬の標準手段となっている。 2つの前提がこの慣習を包含している: 簡潔さまたは厳密さは審査モデルの特性であり、そのモデルにそれをレビューするよう依頼することで、ルーブリックを改善することができる。 本研究は,2つの人間ラベル付きデータセット SummEdits と RAGTruth を用いて,植込み欠陥のある制御グレーディングタスクでテストする。 ジャッジと出力を固定すると、ルーブリックコンテンツは正しい出力のパスレートを2%から100%に移動し、ジャッジモデルや同じチェックのレンダリングを数ポイント移動させる。 モデル自己レビューは、リバイザ自身の標準に向かってルーブリックをドリフトし、タスクが記述したことのない要件を追加し、3つのリバイザモデルと3つのデータセットで、人間のラベルが教えたチェックを削除する。 これを測定するために,全マスパス集約の下では,各チェックのShapley値が正確なクローズドな形で,チェック毎のキャッチクレジット,偽フェール非難,ユニークなキャッチを線形時間で生成することを示す。 属性は、自己レビューがユニークな作業を行うチェックを削除し、誤った失敗を引き起こすチェックを保持することを示している。 これらの量とラベル由来のチェックの証明フリーズを組み合わせた変更制御ゲートは、ほぼすべてのドリフトリビジョンチェーンを開始品質で保持し、3つの審査モデルで同じ決定を下す。

関連論文リスト

• CheckDistill: Adaptive Checklist Distillation for Efficient Distributional Reward Modeling in Image Editing [16.72729078802757]
  CheckDistillは、命令適応型チェックリストを内部化するポイントワイズ報酬モデリングフレームワークである。 チェックリスト、項目レベルの判断、次元レベルの合理化に関する特権教師の条件は、学生のスコアリングの軌跡を監督する。 CheckDistillは、MMRB2、MER-Bench、EditReward-Benchでそれぞれ72.30%、56.67%、82.90%のアキュラシーを達成している。
  論文  参考訳（メタデータ） (2026-10-19T17:05:46Z)
• Auditing VLM Benchmarks from Existing Evaluation Runs [0.0]
  視覚検出器モデル(VLM)のすべての評価実行によって生成される1回の探究アーチファクト 追加の監査層 VLMEvalKit: 6つの検出器が保存出力上の後処理検出器として動作する。 追加のテキストのみのテキストのみの再実行で、クエスト毎のレポートを出力する視覚的な入力が削除された。
  論文  参考訳（メタデータ） (2026-10-09T13:05:22Z)
• Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
  エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。 コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。 3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
  論文  参考訳（メタデータ） (2026-10-07T17:37:19Z)
• Verification-Aware Training for Speculative Decoding [57.84976863792784]
  VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-08-31T01:42:10Z)
• RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
  RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。 本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
  論文  参考訳（メタデータ） (2026-08-25T08:35:04Z)
• From Subjective Judgments to Auditable Standards:Protocol-Guided AI Auditing of Website Redundancy [2.2917707112773593]
  ウェブサイトの冗長性は、単一の固定された意味を持っていない。 我々は,繰り返し負荷,正規利用税,障害領域回復予備費を別々に測定するCORAを導入する。
  論文  参考訳（メタデータ） (2026-08-21T07:17:35Z)
• What Do Compliance Detectors Read? An Audit of Activation Probes and Guard Models [3.3598755777055374]
  ICS(Internal Compliance Score)は、10組のラベル付きペアからのトレーニング不要のアクティベーション読み出しであり、単一のプロジェクションで得点される。 この状態は、現在のコンプライアンス・ディテクターのクラスにまたがって失敗することを示し、これはルール・ブラインドネスと呼ばれる失敗である。 対策プロトコルとクロスルールベンチマークを公開し、将来の調査でルールの盲点をテストし、クレームを保護します。
  論文  参考訳（メタデータ） (2026-08-17T17:37:07Z)
• Mitigating Rubric Interference in LLM Judges via On-Policy Self-Distillation [40.2978746802106]
  LLM審査員は、きめ細かいルックスチェックリストに対する反応をますます評価している。 現在のメソッドは通常、それぞれを別々の推論コールで評価する。 その結果,どのルーリックが同一であるかによって,1つのルーリックシフトの判定が行われることがわかった。 我々は、4つの制御された操作を通して干渉を探索する測定フレームワークを開発した。
  論文  参考訳（メタデータ） (2026-08-05T03:35:29Z)
• CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
  アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。 モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-06-02T13:41:43Z)
• HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
  HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。 HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。 我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
  論文  参考訳（メタデータ） (2026-02-15T02:50:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。