論文の概要: Swapping the Judge Changes the Ranking: A Preregistered Study of Cross-Provider Replication in LLM-Judged System Comparisons

• arxiv url: http://arxiv.org/abs/2611.04090v1
• Date: Tue, 03 Nov 2026 00:01:35 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:22:12.13229
• Title: Swapping the Judge Changes the Ranking: A Preregistered Study of Cross-Provider Replication in LLM-Judged System Comparisons
• Title（参考訳）: 審査員のランク変更: LLM-Judged システム比較におけるクロスプロバイダレプリケーションの予備的研究
• Abstract要約: 異なるプロバイダの2人の低コストの審査員が再現した結論は、シングルジャッジの結論よりも人間の結論によく一致した。 人の投票による不一致は、独立性の予測よりもはるかに多いが、戦闘ごとに1人の人間の投票は、裁判官の偏見を有権者の騒音から切り離すことはできない。
• 参考スコア（独自算出の注目度）: 0.36013539748644224
• License:
• Abstract: Practitioners who compare systems with an LLM judge and have no human labels often check a conclusion by repeating it with a judge from another provider. We test how far that check can be trusted. In a preregistered study (with a disclosed post-registration reduction of the judge set), five judge models from three providers re-judged 4,000 Chatbot Arena battles (nine systems, 33 system pairs) that carry human votes, each in both response orders. Agreement with the human vote was low at the verdict level (median Cohen's kappa = 0.22), and system rankings did not survive a change of judge: Kendall's tau with the human ranking ranged from 0.17 to 0.89 (median 0.67), so the preregistered hypothesis that rankings remain stable was not supported. Conclusions replicated by two low-cost judges from different providers matched the human conclusion more often than single-judge conclusions (+0.10 precision), but the gain came from filtering out one poorly aligned judge, and replication involving that judge left a conclusion for only 35% of comparisons. Judges that agreed with humans reached a stable conclusion with no more verdicts than human votes required; the others failed to converge on 26-70% of system pairs at the sample sizes tested (up to 100 verdicts per pair). Disagreements with the human vote co-occurred across judges far more often than independence predicts, although a single human vote per battle cannot separate shared judge bias from voter noise.
• Abstract（参考訳）: システムとLLMの裁判官を比較し、人間のラベルを持たない実践者は、それを他のプロバイダの裁判官と繰り返すことで結論を確認することが多い。 私たちはそのチェックがどこまで信頼できるかテストします。 事前登録された調査(判決セットの登録後削減が公表された)では、3つの提供者からの5つの審査モデルが、それぞれに、人の投票を行う4000のChatbot Arenaバトル(9つのシステム、33のシステムペア)を再審査した。 人事との合意は評決レベルでは低く(中間コーエンのカッパ=0.22)、システムランキングは審査の変更を生き残らなかった: 人事に関するケンドールのタウは0.17から0.89(中間0.67)であり、登録済みのランキングが安定しているという仮説は支持されなかった。 異なるプロバイダの2人の低価格の裁判官によって複製された結論は、単一のジャッジの結論(+0.10精度)よりも人間の結論によく一致するが、その利益は、1人の不整合の裁判官をフィルタリングし、その裁判官を巻き込んだ複製は、比較のわずか35%で結論を残した。 人間と同意した裁判官は、人票以上の評決は必要とせず、安定的な結論に達した。他の判事は、テストされたサンプルサイズのシステムペアの26～70%に収束しなかった(ペア当たり100評決)。 人の投票による不一致は、独立性の予測よりもはるかに多いが、戦闘ごとに1人の人間の投票は、共通の裁判官の偏見を有権者の騒音から切り離すことはできない。

関連論文リスト

• The Format is the Filter: Scoring Format Fixes What an LLM Judge Can Express [2.2430621739246166]
  我々はUltraFeedback候補を5つのフォーマットで15,406点、審査員3名、審査員66名、審査員4名で評価した。 0-100スケールは7-12レベルに過ぎず、20倍から3倍の1-5スケールであり、2進判定は77-78%のプロンプトでトップスコアを付けている。 審査に基づくキュレーションパイプラインを報告すべき4つの量を提案する。
  論文  参考訳（メタデータ） (2026-10-12T17:36:39Z)
• Who Sets the Pace of Judge Hacking? Judge Capability versus the Policy-Judge Gap [6.00637068979221]
  GRPO の下では、フリーフリーの LLM 判事に対して、RL は判事の偽陽性を悪用する。 我々は、GSM8Kの0.5Bおよび1.5B Qwen2.5ポリシーを、少なくとも4人の裁判官に対して訓練し、1.5Bポリシーは、1人の小さな裁判官に対しても訓練する。 ポストホック分析では、審査員の受理率は上昇したが、シード平均のグリーディ精度で0.04以上の細胞は得られなかった。
  論文  参考訳（メタデータ） (2026-10-11T17:05:39Z)
• When the Judge Acts: Auditing VLM-Guided Image Selection on Culturally Situated Prompts [0.0]
  視覚言語モデル(VLM)は、複数の生成された画像の中から最高のものを選ぶ審査員としての役割を担っている。 我々は、返却された画像と、判事が見たことのない人間の評価と、同じ候補からランダムに選択した画像を比較し、すべての決定を、再注文された候補と繰り返す。
  論文  参考訳（メタデータ） (2026-10-01T07:40:33Z)
• Agreement Overstates Evidence: Error Dependence in LLM Judge Consensus [43.232837964609416]
  オープンウェイトとフロンティアLLMの双方の判定において,かなりの誤差相関が認められた。 比較の最大28%では、共有エラーを無視することは、1つのシステムの方がはるかに優れているという結論につながる。 評価精度を推定し,共有誤りを同定するために,信頼された少数の例を用いるという,単純なアプローチを提案する。
  論文  参考訳（メタデータ） (2026-09-18T19:20:40Z)
• Evaluative Fingerprints: Stable and Systematic Differences in LLM Evaluator Behavior [0.0]
  審査員は一貫性があるが、互いに一致していない。 評価は3,240件を超え、中間合意はほぼゼロに近い。 審査員の平均得点は、審査員の実際の値に該当しない合成判定を生成する。
  論文  参考訳（メタデータ） (2026-01-08T17:02:22Z)
• AI Debate Aids Assessment of Controversial Claims [73.8907110799657]
  我々は、AI論争が、議論の的になっている事実性主張の側面に対立する2つのAIシステムを議論させることで、偏見のある裁判官を真実に導くことができるかどうかを調査する。 研究Iでは、議論は人間の判断精度と信頼性の校正を継続的に改善し、コンサルタントを上回ります。 研究IIでは、人間のような人格を持つAI裁判官は、人格を持たない人格(70.1%)やデフォルトのAI裁判官(69.8%)よりも高い精度(78.5%)を達成する。 これらの調査結果は、AIの議論が、競争対象ドメインにおけるスケーラブルでバイアス耐性のある監視への有望な道であることを示している。
  論文  参考訳（メタデータ） (2025-06-02T19:01:53Z)
• Validating LLM-as-a-Judge Systems under Rating Indeterminacy [65.137380612741]
  評価の不確定性の下でLLM-as-a-judgeシステムを検証するための枠組みを提案する。 本研究では, 強制選択評価指示に応答する際の評価の不確定性を人間とLLMがどう解決するかの相違が, 偏見の検証に大きく寄与することを示した。
  論文  参考訳（メタデータ） (2025-03-07T22:09:47Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。