論文の概要: Who Drifted: the System or the Judge? Anytime-Valid Attribution in LLM Evaluation Pipelines

• arxiv url: http://arxiv.org/abs/2606.15474v1
• Date: Sat, 13 Jun 2026 21:12:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.643377
• Title: Who Drifted: the System or the Judge? Anytime-Valid Attribution in LLM Evaluation Pipelines
• Title（参考訳）: システムか裁判官か? LLM評価パイプラインにおける任意の変数属性
• Authors: Yitao Li,
• Abstract要約: 製品の継続的な評価は、基底真理として扱われる強いLCMの判断に依存している。 judgeはそれ自体がAPIの背後にあるモデルであり、サイレントバージョンアップやスコアの更新はスコアの方法を変える。 我々は、アンカーが保護するメインプロセスを追い越さなければならないという設計法則を持つ帰属レースである(裁判官だけがアンカーを動かすことができる)任意の時間的正当性、一方的な識別を証明します。
• 参考スコア（独自算出の注目度）: 0.22843885788439797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous evaluation of LLM products relies on a strong LLM judge treated as ground truth: a cheap monitor scores every interaction and a team is paged when the score drifts down. But the judge is itself a model behind an API, and a silent version bump or scoring-prompt update changes how it scores -- so every drift alarm is ambiguous between a worse product and a changed judge. We resolve the ambiguity with a fixed, human-labeled anchor set that the current judge re-scores at a steady interleave, a second betting e-process on the judge-versus-human gap, and a guard-window rule returning a verdict in {none, system, judge}. We prove anytime-validity, one-way identification (only the judge can move the anchors), an attribution race whose design law is that the anchors must out-run the main process they guard, and process orthogonality. On two real judge changes, a silent version bump is detected as judge drift in 60/60 runs with zero judge-to-system misattribution, and a contaminating strict-prompt change is correctly attributed on 110 of 120 runs at guard width 300 -- while the industry-default rolling z-test false-alarms on 75% of drift-free streams. Every experiment replicates on a second domain (TL;DR summarization) with nothing re-tuned, and where the domains differ the differences are the ones the race predicts: the strict-prompt change shifts scores harder there, so the anchors fire faster and attribution becomes perfect (240/240). The monitor runs at approximately 0.64 of the cost of strong-judging every item, or 0.21 in a cheaper-but-deafer regime.
• Abstract（参考訳）: 安価なモニターはすべてのインタラクションをスコアし、スコアが下がるとチームがページされる。 しかし、審査員はそれ自体がAPIの背後にあるモデルであり、サイレントバージョンアップやスコアの急激な更新はスコアの仕方を変えます。 我々は、現行の裁判官が安定したインターリーブで再スコアする固定された人間ラベル付きアンカーセット、裁判官と人間のギャップの第二の賭けe-プロセス、および {none, system, judge} の判定を返却するガードウインドウルールで曖昧さを解消する。 我々は、あらゆる時間的正当性、一方的な識別(裁判官だけがアンカーを動かすことができる)、すなわち、アンカーが保護するメインプロセスを追い越して、直交性を処理しなければならないという設計法則を持つ帰属レースを証明します。 実際の2つの判断変更では、60/60の判定ドリフトがゼロの判断とシステム間のミスアトリビューションで実行され、汚染された厳密な変更はガード幅300の120ランのうち110ランに正しく対応し、業界標準のzテストの偽アラームをドリフトフリーストリームの75%で展開する。 すべての実験は第2のドメイン (TL;DR の要約) に再調整せずに複製され、その領域が異なる場合は、レースが予測するものが違う: 厳密な急激な変化はスコアを難しくするので、アンカーは速く発火し、帰属は完璧になる(240/240)。 モニターは、全てのアイテムを強引に充電するコストの約0.64、より安価だが遅延状態の0.21で作動する。

関連論文リスト

• Turning Bias into Bugs: Bandit-Guided Style Manipulation Attacks on LLM Judges [65.92623263645139]
  LLM審査員を誤解させるためにセマンティクスを保存する編集を学習するブラックボックスの敵対的フレームワークであるBITEを紹介する。 BITEは65%を超える攻撃成功率を獲得し、9ポイントのスケールでスコアを1-2ポイント上げる。 LLM-as-a-judgeパラダイムの根本的な弱点を明らかにし,ロバストでアタック・アウェアな評価を動機づけた。
  論文  参考訳（メタデータ） (2026-05-24T05:24:09Z)
• Calibrate, Don't Curate: Label-Efficient Estimation from Noisy LLM Judges [3.974554103907186]
  ラベル付きキャリブレーションデータを用いたマルチジャッジ評価では、弱い判断を精度だけで破棄しないことが示されている。 本稿では, 適切なスコアリングルール下での最適校正リスクが, 付加的な判定信号が利用可能になった場合に増大しないことを示すオラクル分析による逆転について説明する。
  論文  参考訳（メタデータ） (2026-05-10T18:49:58Z)
• Two Ways to De-Bias an LLM-as-a-Judge: A Continuous-Score Comparison of Hierarchical Bayesian Calibration and Neural-ODE Score Transport [0.0]
  このマッピングをどのようにモデル化すべきかについて、反対の見解をとる2つの修正子を比較した。 これらの知見を,運用デプロイメントの明確な決定ルールに変換する。
  論文  参考訳（メタデータ） (2026-05-09T23:55:02Z)
• How Sensitive Are Safety Benchmarks to Judge Configuration Choices? [5.94231111588812]
  HarmBenchのような安全ベンチマークは、モデル応答を有害または安全と分類する判断に頼っている。 判定モデルと判定プロンプトの組み合わせは,一般に一定の実装の詳細として扱われる。 審査員モデルの定式化により, 評価された有害応答率を最大24.2%にシフトした。
  論文  参考訳（メタデータ） (2026-04-27T05:59:59Z)
• C2-Faith: Benchmarking LLM Judges for Causal and Coverage Faithfulness in Chain-of-Thought Reasoning [0.6138671548064355]
  大型言語モデル (LLMs) は、チェーン・オブ・ソート (CoT) 推論の判断としてますます使われている。 C2-Faithは、因果性(各ステップは以前の文脈から論理的に従うのか? 二つの因果検出,因果ステップの定位,カバレッジスコアの3つの課題において,フロンティア判事の評価を行った。
  論文  参考訳（メタデータ） (2026-03-05T13:36:47Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• Evaluative Fingerprints: Stable and Systematic Differences in LLM Evaluator Behavior [0.0]
  審査員は一貫性があるが、互いに一致していない。 評価は3,240件を超え、中間合意はほぼゼロに近い。 審査員の平均得点は、審査員の実際の値に該当しない合成判定を生成する。
  論文  参考訳（メタデータ） (2026-01-08T17:02:22Z)
• Validating LLM-as-a-Judge Systems under Rating Indeterminacy [65.137380612741]
  評価の不確定性の下でLLM-as-a-judgeシステムを検証するための枠組みを提案する。 本研究では, 強制選択評価指示に応答する際の評価の不確定性を人間とLLMがどう解決するかの相違が, 偏見の検証に大きく寄与することを示した。
  論文  参考訳（メタデータ） (2025-03-07T22:09:47Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。