論文の概要: When the Judge Changes, So Does the Measurement: Auditing LLM-as-Judge Reliability

• arxiv url: http://arxiv.org/abs/2607.08535v1
• Date: Thu, 09 Jul 2026 14:31:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.564715
• Title: When the Judge Changes, So Does the Measurement: Auditing LLM-as-Judge Reliability
• Title（参考訳）: LLM-as-Judge 信頼性の検証
• Abstract要約: LLM-as-judgeスコアは、単に評価器が変更されたため、候補応答が固定されたままでも移動することができる。 Qwen3の高密度なジャッジを1.7Bから32Bパラメータにスケーリングし、MiniMax M2-M2.7リリースのAPIを移動します。 Qwen3 1.7B から 4B へのアップグレードだけでは、MiniMax リリースはそうではない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An LLM-as-judge score can move even when the candidate responses stay fixed, simply because the evaluator has changed. We treat this evaluator-replacement ambiguity as a measurement-validity problem. Across four judgment datasets, we compare two upgrade paths available in practice: scaling Qwen3 dense judges from 1.7B to 32B parameters and moving across MiniMax M2-M2.7 released APIs. The main pattern is that judge upgrades are not interchangeable: only Qwen3 1.7B to 4B gives a robust adjacent gain, while MiniMax adjacent releases do not. Stronger judges reduce but do not remove position and verbosity bias. Repeated-sample juries add little when errors are correlated. Structured debate can move decisions substantially, but without parser and fallback logs those shifts cannot be attributed to deliberation. We argue that LLM-as-judge reports should include dataset slices, bias probes, error-dependence estimates, and protocol audit trails.
• Abstract（参考訳）: LLM-as-judgeスコアは、単に評価器が変更されたため、候補応答が固定されたままでも移動することができる。 我々は、この評価器置換曖昧さを測定妥当性問題として扱う。 4つの判断データセットで、実際に利用可能な2つのアップグレードパスを比較します。Qwen3の高密度な判断を1.7Bから32Bパラメータにスケールし、MiniMax M2-M2.7リリースAPIを移動します。 Qwen3 1.7B から 4B へのアップグレードは、MiniMax に隣接するリリースは、堅牢な隣接したゲインを与える。 より強い判断は減少するが、位置と冗長性バイアスを排除しない。 繰り返しサンプルのジャリーは、エラーが相関しているときにほとんど追加しない。 構造化された議論は決定を大幅に動かすことができるが、パーサーとフォールバックログなしでは、これらのシフトは熟考によるものではない。 LLM-as-judgeレポートには、データセットスライス、バイアスプローブ、エラー依存性推定、プロトコル監査のパスを含めるべきである。

関連論文リスト

• LLM-as-a-Judge Is Not an Oracle: Why Self-Improving Agents Need Deterministic Guardrails [0.0]
  自己改善エージェントパイプラインは、その中心に問題がある。 評価信号は、判定バイアス、ハーネスとメートル法故障、地道エラー、報酬ハッキングの11のクラスで失敗した。 ProCTORは、ステートフルオーケストレータがすべてのツールアクセスを保持し、ステートレスサブエージェントが障害を診断し、それらが適用できないドラフト突然変異を診断する、教師と学生のループである。
  論文  参考訳（メタデータ） (2026-09-02T07:54:23Z)
• Evidence Lock Before Commitment: A Frozen Interface Degrades LLM-as-Judge Evaluation [0.6768558752130311]
  このワークフローは、中間レコードが後続の判断に必要な情報を保存していると仮定する。 推論可能なモデルの場合、可視場秩序は内部決定順序を明らかにしないので、観測可能な代替品を試す。 我々は、標準的なペアワイズ判定、構造化ワンコール判定、ツーコールエビデンスロック、および3コールポイントワイズロックを、Claude Sonnet 4.5 と GPT-5 で比較した。
  論文  参考訳（メタデータ） (2026-08-05T19:23:56Z)
• Turning Bias into Bugs: Bandit-Guided Style Manipulation Attacks on LLM Judges [65.92623263645139]
  LLM審査員を誤解させるためにセマンティクスを保存する編集を学習するブラックボックスの敵対的フレームワークであるBITEを紹介する。 BITEは65%を超える攻撃成功率を獲得し、9ポイントのスケールでスコアを1-2ポイント上げる。 LLM-as-a-judgeパラダイムの根本的な弱点を明らかにし,ロバストでアタック・アウェアな評価を動機づけた。
  論文  参考訳（メタデータ） (2026-05-24T05:24:09Z)
• C2-Faith: Benchmarking LLM Judges for Causal and Coverage Faithfulness in Chain-of-Thought Reasoning [0.6138671548064355]
  大型言語モデル (LLMs) は、チェーン・オブ・ソート (CoT) 推論の判断としてますます使われている。 C2-Faithは、因果性(各ステップは以前の文脈から論理的に従うのか? 二つの因果検出,因果ステップの定位,カバレッジスコアの3つの課題において,フロンティア判事の評価を行った。
  論文  参考訳（メタデータ） (2026-03-05T13:36:47Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• VideoJudge: Bootstrapping Enables Scalable Supervision of MLLM-as-a-Judge for Video Understanding [57.15309719147799]
  ビデオ理解モデルから出力を評価するための3Bおよび7BサイズのMLLM判定器であるVideoJudgeを紹介する。 VideoJudgeのトレーニングには、ジェネレータと評価器の相互作用に基づいてレシピを構築します。 4つのメタ評価ベンチマークのうち3つで、VideoJudge-7BはMLLMの判断基準を大きく上回っている。
  論文  参考訳（メタデータ） (2025-09-25T19:22:57Z)
• No-Knowledge Alarms for Misaligned LLMs-as-Judges [0.0]
  我々は,LLM審査員のミスアラームに対する非知識アラームを開発する。 警報器は、誤判定なしで、審査員の少なくとも1人以上のメンバーが、ユーザが指定した格付け能力要件に違反していることを検知することができる。
  論文  参考訳（メタデータ） (2025-09-10T13:46:40Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)
• Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena [76.21004582932268]
  本研究では, LLM-as-a-judgeの使用状況と限界について検討し, 位置, 冗長性, 自己改善バイアスについて検討した。 次に、マルチターン質問セットであるMT-benchとクラウドソースのバトルプラットフォームであるArenaの2つのベンチマークを導入することで、LCMの判断と人間の嗜好の一致を検証する。
  論文  参考訳（メタデータ） (2023-06-09T05:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。