論文の概要: Agreement Without Alignment: Label-Free Rubric Clarification Increases LLM-Judge Consensus but Not Agreement with Humans
- arxiv url: http://arxiv.org/abs/2610.13303v1
- Date: Fri, 09 Oct 2026 09:49:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.511081
- Title: Agreement Without Alignment: Label-Free Rubric Clarification Increases LLM-Judge Consensus but Not Agreement with Humans
- Title（参考訳）: 無アライメントのない合意: LLM-Judge Consensus の増加と人間との合意
- Abstract要約: 手続きは各ルーリックをサブ基準に分解し、開発分割に関するクロス・ジャッジの意見の相違によってランク付けし、最も競合する部分のみを編集モデルに書き換える。
人間のラベルは節の選択や編集には使われず、結果を評価するためにのみ使用される。
- 参考スコア（独自算出の注目度）: 0.36013539748644224
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM judges are increasingly deployed as panels, and disagreement among panel members is often read as a symptom of an unclear rubric. We test a label-free procedure that turns this disagreement into rubric repairs. The procedure decomposes each rubric into sub-criteria, ranks them by cross-judge disagreement on a development split, and has an editor model rewrite only the most contested ones. An additional stage that moves text-checkable sub-criteria to deterministic checkers transferred none in our evaluation. Human labels are never used to select or edit clauses; they are used only to evaluate the outcome. We pre-specified four hypotheses in a version-controlled protocol and evaluated six rubric conditions with a panel of five judges from three providers on SummEval, the HealthBench meta-evaluation, and USR Topical-Chat, for a total of 129,770 judge requests, excluding retries. On SummEval, the procedure raised inter-judge Krippendorff's $α$ by 0.069 (95% CI 0.046 to 0.092) over the original rubric and by 0.074 over a control that applied the same edits to an equal number of randomly chosen clauses that were not selected. Agreement with expert ratings showed no detectable change (Kendall $τ$ difference -0.007, 95% CI -0.037 to 0.021). On HealthBench and USR, neither inter-judge agreement nor human agreement met the preregistered effect criteria. In a preregistered secondary comparison, human agreement after editing the contested clauses was lower than after editing the control clauses on all three datasets in point estimate, although no interval excluded zero. Selecting clauses by disagreement makes judges agree with each other more than editing arbitrary clauses does, but in our setting the added consensus did not bring the judges closer to human annotators. We will release code, frozen rubrics, item identifiers, and judge scores.
- Abstract（参考訳）: LLM審査員は次第にパネルとして展開され、パネルメンバー間の意見の相違は不明瞭なルーリックの症状としてしばしば読まれる。
我々は、この不一致を破片修理に変換するラベルフリーの手順をテストする。
この手順は、各ルーリックをサブ基準に分解し、開発分割に関するクロス・ジャッジの不一致によってランク付けし、最も競合する部分のみを編集モデルに書き換える。
テキストチェック可能なサブ基準を決定論的チェッカーに移動させる追加段階が評価に含まれなかった。
人間のラベルは節の選択や編集には使われず、結果を評価するためにのみ使用される。
SummEval,HealthBench meta-evaluation,USR Topical-Chatの3つのプロバイダの5人の審査員によるパネルで,合計129,770人の審査員が再審を除外し,バージョン管理プロトコルの4つの仮説を事前に検討した。
SummEvalでは、このプロシージャは元のルーリックに対してクラッペンドルフの$α$を0.069ドル(95% CI 0.046から0.092ドル)、選択されていないランダムに選択された節の同じ数に同じ編集を適用したコントロールに対して0.074ドル引き上げた。
Kendall $τ$ difference -0.007, 95% CI -0.037 to 0.021)。
HealthBench と USR では、Judge 間の合意も人的合意も事前登録された効果基準を満たしていない。
事前登録された2次比較では、競合した条項を編集した後の人間の合意は、ポイント推定で3つのデータセットの制御条項を編集した後よりも低かったが、間隔はゼロではなかった。
意見の相違による節の選択は、任意の節を編集するよりも、裁判官同士の合意を一致させるが、我々の設定では、付加された合意は、裁判官を人間のアノテーションに近づけることはなかった。
コード、凍結したルーリック、アイテム識別子、そして判定スコアをリリースします。
関連論文リスト
- Adversarial Cues in Decision Models Used as Judges: The Role of Request Presentation [1.7259824817932294]
候補に1つのコロニーを追加すると、構造化された判定要求の提示に応じて、この要件に違反する可能性があることを示す。
基本的な判断能力は、固定された候補編集に対して、著しく異なる脆弱性と共存できることを示す。
論文 参考訳（メタデータ） (2026-10-08T07:59:48Z) - Measuring Collapse and Correction in Homogeneous-Panel LLM Debate [51.03982042769297]
マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。
標準的な最終精度評価は、これらの反対のメカニズムを詳述する。
複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。
論文 参考訳（メタデータ） (2026-09-28T14:31:19Z) - Frozen Judges, Moving Agents: Version-Dependent LLM-Judge Error and the Limits of Judge-Assisted Agent Evaluation [7.504639516424482]
言語モデル審査員はエージェントのアップグレードを前任者と比較するが、固定された審査員はバージョンに依存した誤りを犯すことがある。
公開コーディングエージェント35件、カスタマーサービスエージェント2件、専門家ラベル付きエージェントRewardBenchトラジェクトリ1,106件を分析した。
論文 参考訳（メタデータ） (2026-09-28T03:10:18Z) - Same Scores, Different Decisions: Evaluating JEV and Language Models for Legal Document Understanding [65.85599131866623]
私たちはJevとContractNLIの9つの言語モデルを比較します。
制御された比較は、仮説の可視性、要求された出力、および出力順序によって異なる。
Jevは、評価された構成の中で、最低コストと中央値のレスポンス時間を持っています。
論文 参考訳（メタデータ） (2026-09-23T10:53:01Z) - A Policy Profile for Croissant: Refusal as a Property of the Dataset [51.56484100374058]
Croissantは、MLデータセット:-LD over schema.org用の事実上の機械可読記述子である。
バージョン1.1以降はデータ使用条件も備えており、DUOとODRLを推奨している。
バージョンが明記されていないのは、どれかの評価方法、決定手順、評価コストの制限なし、実装が評価できない状態の結果なし、何がチェックされたかの記録なし、呼び出し側権限によるコンポジションなしである。
論文 参考訳（メタデータ） (2026-09-17T03:30:32Z) - A Judge Should Know What Changed:Construct Validity for LLM-as-a-Judge Evaluation [14.867869624585886]
評価器の構成妥当性を2次元プロファイルとして定式化する。
S と R は独立であり、スカラーの要約がすべての関連する比較を保存することはないことを示す。
これらの結果から, 評価対象構造の変化に対して, 高判定基準は弱い感度で共存できることが示唆された。
論文 参考訳（メタデータ） (2026-08-25T11:32:54Z) - Intelligence Is Not the Bottleneck: Validating an LLM First-Pass Manuscript Score Against Peer-Review Outcomes [0.0]
大規模言語モデル(LLM)システムは、ピアレビューを支援するためにますます提案されている。
ほとんどの評価は、システムが割り当てる数値スコアの妥当性ではなく、機械生成レビューテキストの散文を判断する。
提案した原稿を読み取って5つの0-100品質ディメンションと重み付き総合スコアを出力するAIPRを検証する。
論文 参考訳（メタデータ） (2026-06-14T16:13:15Z) - CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。
モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
論文 参考訳（メタデータ） (2026-06-02T13:41:43Z) - Quantifying the Statistical Effect of Rubric Modifications on Human-Autorater Agreement [50.34437999083224]
オートレーダは、評価と自動モデレーションコンテンツにますます使われています。
ヒトとオートレーダの両方に提示されるルーブリックの修正がスコアアグリーメントにどのように影響するかは、統計学的に限定されている。
論文 参考訳（メタデータ） (2026-05-07T13:55:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。