論文の概要: MCJudgeBench: A Benchmark for Constraint-Level Judge Evaluation in Multi-Constraint Instruction Following

• arxiv url: http://arxiv.org/abs/2605.03858v1
• Date: Tue, 05 May 2026 15:20:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:44.001143
• Title: MCJudgeBench: A Benchmark for Constraint-Level Judge Evaluation in Multi-Constraint Instruction Following
• Title（参考訳）: MCJudgeBench:マルチ制約教育における制約レベル判定評価ベンチマーク
• Authors: Jaeyun Lee, Junyoung Koh, Zeynel Tok, Hunar Batra, Ronald Clark,
• Abstract要約: 本稿では,制約レベル判定のベンチマークであるMCJudgeBenchを紹介する。 各インスタンスには、命令、候補応答、明示的な制約リスト、Yes、部分的、ノー、制御された応答側の摂動を含む。 我々は、正確性と矛盾性の両方の指標を用いて、プロプライエタリかつオープンソースのLCM審査員を評価した。
• 参考スコア（独自算出の注目度）: 8.500414706731036
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-constraint instruction following requires verifying whether a response satisfies multiple individual requirements, yet LLM judges are often assessed only through overall-response judgments. We introduce MCJudgeBench, a benchmark for constraint-level judge evaluation in multi-constraint instruction following. Each instance includes an instruction, a candidate response, an explicit constraint list, per-constraint gold labels in {yes, partial, no}, and controlled response-side perturbations. The evaluation protocol further includes evaluation prompt variants to test judge stability. We evaluate proprietary and open-source LLM judges using both correctness and inconsistency metrics, distinguishing intrinsic inconsistency under stochastic decoding from procedural inconsistency under prompt and response perturbations. Our results show that judge reliability has multiple dimensions: strong overall performance does not guarantee equally reliable detection across label categories, especially for rarer partial and no cases. Judges with higher correctness do not always have lower inconsistency. Evaluation with reasoning improves correctness but does not uniformly improve stability. These findings motivate evaluating LLM judges at the constraint level to study these failure modes.
• Abstract（参考訳）: 以下のマルチ制約命令は、応答が複数の個々の要求を満たすかどうかを検証する必要があるが、LLMの判断は、全体的な応答性判断によってのみ評価されることが多い。 本稿では,制約レベル判定のベンチマークであるMCJudgeBenchを紹介する。 各インスタンスには、命令、候補応答、明示的な制約リスト、{yes, partial, no} 内の制約付きゴールドラベル、制御された応答側摂動が含まれる。 評価プロトコルはさらに、判定安定性をテストするための評価プロンプト変種を含む。 確率的復号化の下での内在的不整合を,プロシージャと応答の摂動下での手続き的不整合と区別し,正当性と不整合の測定値を用いて,プロプライエタリおよびオープンソースのLCM判定値を評価する。 以上の結果から,判定信頼性は複数の次元を持つことが明らかとなった。特に稀な部分的・無ケースにおいて,高い総合的性能はラベルカテゴリー間で等しく信頼性の高い検出を保証しない。 高い正当性を持つ裁判官は、常に低い不整合を有するとは限らない。 推論による評価は正確性を改善するが、安定性を均一に改善しない。 これらの知見は, LLM審査員を制約レベルで評価し, 障害モードについて検討する動機となった。

関連論文リスト

• Judge Reliability Harness: Stress Testing the Reliability of LLM Judges [1.1699027359021665]
  Judge Reliability Harnessは、LCM判事の信頼性をテストする検証スイートを構築するためのオープンソースライブラリである。 安全性,説得性,誤用,エージェント行動の4つのベンチマークで,最先端の4つの審査員を評価した。
  論文  参考訳（メタデータ） (2026-03-05T17:27:07Z)
• CARE: Confounder-Aware Aggregation for Reliable LLM Evaluation [21.96013518286442]
  CAREは、判定スコアのための共同設立者対応アグリゲーションフレームワークである。 共有共同設立者の下で、識別可能性と有限サンプル回復に関する理論的保証を提供する。 CAREはアグリゲーションの精度を改善し、エラーを最大26.8%削減する。
  論文  参考訳（メタデータ） (2026-02-09T03:17:55Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• A Judge-Aware Ranking Framework for Evaluating Large Language Models without Ground Truth [4.9467757325435775]
  大規模言語モデル(LLM)をオープンなタスクで評価することは、LLM-as-a-judgeパラダイムを通じてますます行われています。 すべての裁判官を平等に扱うことは、偏見のあるリーダーボードを生み出し、不確実性の推定を誤解させる可能性がある。 そこで本研究では,Bradley-Terry-Luceモデルを拡張し,判定固有の識別パラメータを導入することにより,判定対応のランキングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T15:01:28Z)
• The Stability Trap: Evaluating the Reliability of LLM-Based Instruction Adherence Auditing [1.5954459915735735]
  アプリケーション・アンダー・テスト(AUT)の指示型は、判断評価の安定性にどの程度影響しますか? Scoped Instruction Decomposition Frameworkを導入し、AUT命令を客観型と主観型に分類し、判断の不安定性を誘導する要因を分離する。 以上の結果から,検証安定性と推論安定性の相違を特徴とする安定性トラップ'が明らかになった。
  論文  参考訳（メタデータ） (2026-01-16T21:15:13Z)
• RULERS: Locked Rubrics and Evidence-Anchored Scoring for Robust LLM Evaluation [15.787947727055611]
  本稿では,自然言語ルーブを実行可能な仕様に変換するコンパイラ・エグゼクタフレームワークであるRULERSを紹介する。 RULERSは、基準をバージョニングされた不変バンドルにコンパイルし、決定論的証拠検証による構造化復号を強制し、軽量なワッサーシュタインベースのポストホックキャリブレーションを適用する。
  論文  参考訳（メタデータ） (2026-01-13T15:31:42Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Validating LLM-as-a-Judge Systems under Rating Indeterminacy [65.137380612741]
  評価の不確定性の下でLLM-as-a-judgeシステムを検証するための枠組みを提案する。 本研究では, 強制選択評価指示に応答する際の評価の不確定性を人間とLLMがどう解決するかの相違が, 偏見の検証に大きく寄与することを示した。
  論文  参考訳（メタデータ） (2025-03-07T22:09:47Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。