論文の概要: Will the Judge Flip? Predicting Position-Sensitive LLM Judgments from Residual Stream Activations

• arxiv url: http://arxiv.org/abs/2610.07115v1
• Date: Mon, 05 Oct 2026 16:10:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.565681
• Title: Will the Judge Flip? Predicting Position-Sensitive LLM Judgments from Residual Stream Activations
• Title（参考訳）: 判事はフリップするか? : 残留ストリームの活性化による位置感性LCM判断
• Abstract要約: 初期判定直前に記録された残差ストリームのアクティベーションがフリップを予測できるかどうかを検討する。 3つのQwen3判定器とLlama-3.1-8Bに対する534のジャッジベンチ対に対する正規化線形プローブの評価を行った。 線形プローブは、.621-.850のAUROCを達成し、言語化された信頼度、検証ラベルのロジット、応答長、および裁判官の最初の選択を.062-.113 AUROCで上回る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The order in which candidate responses are presented can change an LLM judge's verdict. Detecting such a position flip ordinarily requires judging each pair in both orders, which doubles the number of judgments. We investigate whether residual stream activations recorded immediately before the initial verdict can predict a flip. We use nested grouped cross-validation to evaluate regularized linear probes on 534 JudgeBench pairs for three Qwen3 judges and Llama-3.1-8B. The linear probes achieve AUROCs of .621-.850 and outperform a combined baseline that uses verbalized confidence, verdict-label logits, response lengths, and the judge's initial choice by .062-.113 AUROC. Linear probes trained on JudgeBench and then frozen achieve AUROCs of .685-.853 on 1,802 MT-Bench comparisons without MT-Bench fitting or recalibration. These results show that pre-verdict activations support prediction of susceptibility to candidate order and outperform the non-activation predictors evaluated here.
• Abstract（参考訳）: 候補回答が提示される順序は、LLM判事の評決を変えることができる。 このような位置フリップを検知するには、通常、両方の順序で各ペアを判断する必要がある。 初期判定直前に記録された残差ストリームのアクティベーションがフリップを予測できるかどうかを検討する。 3人のQwen3判事とLlama-3.1-8Bに対して、534のジャッジベンチ対上の正規化線形プローブを評価するためにネスト型群クロスバリデーションを用いた。 線形プローブは .621-.850 の AUROC を達成し、言語化された信頼度、評定ラベルロジット、応答長、裁判官の初期選択を .062-.113 で上回る。 AUROC ジャッジベンチで訓練されたリニアプローブは、MT-ベンチフィッティングや再校正なしで1,802回のMT-ベンチ比較で.685-.853のAUROCを達成した。 これらの結果から, 予測前のアクティベーションは, 候補順に対する感受性の予測を支援し, 非アクティベーション予測器よりも優れていることがわかった。

関連論文リスト

• RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
  RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。 本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
  論文  参考訳（メタデータ） (2026-08-25T08:35:04Z)
• Self-Evaluation Is Already There: Eliciting Latent Judge Calibration in Base LLMs with Minimal Data [21.469213097004523]
  大規模言語モデルは、他のモデルによってますます評価され、自然な疑問が提起されている。 本稿では, 自己評価抽出(SEE)手法について紹介する。この手法は, キャリブレーション結合型強化学習フェーズを含む短いサイクルで, 応答を改善し, 審査員を予測し, 次いで, 応答を無触で残しながら, 予測を鋭くするマスク付き蒸留フェーズを備える。 帰属した自己評価は、モデル自身のトークン分布内で急激に局所化され、訓練されたことのない審査員間で安定しており、単一の審査員ではなく、品質の伝達可能な概念を示している」。
  論文  参考訳（メタデータ） (2026-06-03T17:27:16Z)
• CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
  本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
  論文  参考訳（メタデータ） (2026-05-19T10:59:19Z)
• Calibrate, Don't Curate: Label-Efficient Estimation from Noisy LLM Judges [3.974554103907186]
  ラベル付きキャリブレーションデータを用いたマルチジャッジ評価では、弱い判断を精度だけで破棄しないことが示されている。 本稿では, 適切なスコアリングルール下での最適校正リスクが, 付加的な判定信号が利用可能になった場合に増大しないことを示すオラクル分析による逆転について説明する。
  論文  参考訳（メタデータ） (2026-05-10T18:49:58Z)
• CyclicJudge: Mitigating Judge Bias Efficiently in LLM-based Evaluation [6.3121191919394475]
  この研究は、ベンチマークスコアの分散をシナリオ、生成、判断、残留コンポーネントに分割する分散分解を導入する。 この分析に基づいて, 審査員のシナリオへのラウンドロビンの割り当てであるCyclicJudgeが, 一定の審査-呼出予算の最適戦略であることを実証した。
  論文  参考訳（メタデータ） (2026-03-02T13:46:32Z)
• Re-Rankers as Relevance Judges [65.37611299805856]
  再ランカ・アズ・レバレンス・ジャッジ設定で再ランカを再現する。 TREC-DL 2019〜2023では,220Mから32Bの3家族から8人の再ランカを対象に実験を行い,再ランカに基づく審査員による評価バイアスを分析した。
  論文  参考訳（メタデータ） (2026-01-08T00:02:59Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators [66.83088028268318]
  本稿では,テスト時間スケーリングベンチマークの判定評価について紹介する。 3つのタスク設定の下で、3つのドメイン(推論、コード生成、命令従)での判定性能を評価する。 我々のベンチマークは、審査員が再評価において結果報酬モデルと競合する一方で、ビームサーチにおけるプロセス報酬モデルよりも一貫して悪いことを示している。
  論文  参考訳（メタデータ） (2025-04-21T17:33:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。