論文の概要: The First Token Is Not the Verdict: Hidden Costs of Reading LLM Judges Without Generating

• arxiv url: http://arxiv.org/abs/2610.00054v1
• Date: Fri, 04 Sep 2026 00:45:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.334746
• Title: The First Token Is Not the Verdict: Hidden Costs of Reading LLM Judges Without Generating
• Title（参考訳）: LLMの審査員が生成せずに読むのに要するコスト
• Abstract要約: LLMの審査員の判断を最初のトークンのロジットから読み取ることは安価であり、生成を必要としない。 この読み出しは位置バイアスを1方向に歪め、テストするすべての条件でオーバーステートするので、この方法で得られた数値は上限として振る舞う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reading an LLM judge's verdict from the logits of its first generated token is cheap, requires no generation, and is exactly what constrained decoding and likelihood-scoring evaluation harnesses produce. We show that this readout distorts position bias in one direction: it overstates it in every condition we test, so figures obtained this way behave as upper bounds. The mechanism is that judges do not always lead with a verdict token, on 12% to 49% of pairs for three Qwen3 judges and under 3% for Llama-3.1-8B and Phi-3.5-mini, and forcing a read on those pairs returns whichever response was shown first rather than a judgment. Pooled over the 924 pairs where a judge did not commit, the forced read flips on 89.7% of them when the responses are swapped, against 47.5% read after generation (paired difference +0.422, 95% CI [+0.365, +0.467]). The distortion is specific to what is measured: it moves position bias by 42 points while moving judge accuracy by under one point in seven of ten conditions, so it misleads whoever audits a judge rather than whoever uses one. A second, smaller failure occurs even when the judge does lead with a verdict token, since it sometimes opens with one letter and reasons its way to the other, on 0 to 5.5% of pairs at a rate uncorrelated with compliance. We recommend reporting the rate at which a judge leads with a verdict token, which costs one forward pass and no labels, alongside any position-bias figure.
• Abstract（参考訳）: LLMの審査員の判断を最初のトークンのロジットから読み取ることは安価であり、生成を必要としない。 この読み出しは位置バイアスを1方向に歪め、テストするすべての条件でオーバーステートするので、この方法で得られた数値は上限として振る舞う。 このメカニズムは、審査員が判定トークンを常にリードするわけではなく、Qwen3の3人の審査員のペアの12%から49%、Llama-3.1-8BとPhi-3.5-miniの3%以下であり、そのペアの読み取りを判断よりも最初に表示された応答を強制する。 判事がコミットしなかった924対のペアを乗り越えて、レスポンスがスワップされたとき、89.7%のリードが反転し、47.5%のリードが生成された(paired difference +0.422, 95% CI [+0.365, +0.467])。 歪みは測定対象に比例する: 位置バイアスを42ポイントずつ動かしながら、判断精度を10条件のうち7条件の1ポイント以下に下げる。 第2の失敗は、裁判官が評決トークンでリードした場合でも発生し、ある文字で開き、また別の文字への道のりを理由として、コンプライアンスとは無関係な速度で0対から5.5%のペアで行う。 我々は、審査員が判定トークンでリードする率について報告することを推奨する。

関連論文リスト

• Opening LLM Judges: Recovering Preference Signals Beyond the Final Verdict [16.03390601181823]
  判断が間違っている場合、正しく判断するために必要な情報はモデルから外れているか、内部表現に存在しているが出力に反映されていないか? 41名の裁判官に対する因果的介入を含む,64名のオープンウェイト評価者と14名のデータセットを対象に,これについて検討した。
  論文  参考訳（メタデータ） (2026-09-26T09:26:36Z)
• JEV vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places [34.429649156970015]
  Jevを7つのベンチマークから9つのパネル上の3つのフラッシュレベルLCMの判定値と比較する。 Jevの精度は、27のペア比較のうち、少なくとも8つのペア比較において、それらと大きく異なる。 規則上の基準では、全てのLLM判事とJevは共にヒトのラッカーから出発する。
  論文  参考訳（メタデータ） (2026-09-24T13:16:21Z)
• JEV-as-a-Judge: Accept When Confident, Escalate When Unsure [8.817173484053148]
  テキストの代わりにラベルの確率を返却する判断専用判断器であるJEVを用いて評価を行う。 16人のジェネレーティブおよび報酬モデル判事に対して、視覚障害者はGPT-6の3点以内である。 しきい値が予め凍結されているため、確実な判定を受け、残りをエスカレートすることは、GPT-6よりも0.9ポイント正確である。
  論文  参考訳（メタデータ） (2026-09-22T15:05:56Z)
• Three Ways Classical Test Theory Misleads for LLM Judges [0.0]
  広く移植可能な3つのものは、審査官がそれらのデザインが持つ役割を整理するため、試験とは別の意味を持つことを示す。 ルーブリック素子上で計算された内部整合係数は、スコアラ面を持たない。 それにもかかわらず、裁判官が帰属できない係数は、配置決定と開示文書に下流を移動する。
  論文  参考訳（メタデータ） (2026-08-31T11:44:16Z)
• Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
  デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。 私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。 プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
  論文  参考訳（メタデータ） (2026-06-09T02:11:01Z)
• How Sensitive Are Safety Benchmarks to Judge Configuration Choices? [5.94231111588812]
  HarmBenchのような安全ベンチマークは、モデル応答を有害または安全と分類する判断に頼っている。 判定モデルと判定プロンプトの組み合わせは,一般に一定の実装の詳細として扱われる。 審査員モデルの定式化により, 評価された有害応答率を最大24.2%にシフトした。
  論文  参考訳（メタデータ） (2026-04-27T05:59:59Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。