論文の概要: When LLM Judge Scores Look Good but Best-of-N Decisions Fail

• arxiv url: http://arxiv.org/abs/2603.12520v1
• Date: Thu, 12 Mar 2026 23:40:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-16 17:38:11.808802
• Title: When LLM Judge Scores Look Good but Best-of-N Decisions Fail
• Title（参考訳）: LLM審査員の判断は良くないが、Nの判断は失敗に終わる
• Abstract要約: 大規模言語モデルは、しばしば審査員が候補の応答を採点し、単一のグローバルメトリックで検証するために使用される。 プロンプト内で実際のデプロイメントタスクが最良選択である場合、これは誤解を招く可能性がある。 審査に基づく選択においては、関連する監査は、グローバルな合意だけでは無く、インイン・プロンプト信号、タイレート、リカバリ/トップ-1の精度を報告すべきである。
• 参考スコア（独自算出の注目度）: 0.29465623430708904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are often used as judges to score candidate responses, then validated with a single global metric such as correlation with reference labels. This can be misleading when the real deployment task is best-of-n selection within a prompt. In a 5,000-prompt best-of-4 benchmark from Chatbot Arena, a judge with moderate global correlation (r = 0.47) captures only 21.0% of the improvement that perfect selection would achieve over random choice. The gap arises because global agreement is driven largely by prompt-level baseline effects, while selection depends on within-prompt ranking: within-prompt correlation is only r_within = 0.27, and coarse pointwise scoring creates ties in 67% of pairwise comparisons. In a matched-pair best-of-2 audit, explicit pairwise judging recovers much of this lost signal, raising recovery from 21.1% to 61.2%. For judge-based selection, the relevant audit should report within-prompt signal, tie rates, and recovery/top-1 accuracy, not global agreement alone.
• Abstract（参考訳）: 大規模言語モデルは、しばしば審査員として、候補の応答を採点し、基準ラベルとの相関のような単一のグローバルな指標で検証する。 プロンプト内で実際のデプロイメントタスクが最良選択である場合、これは誤解を招く可能性がある。 Chatbot Arenaの5000発のベスト・オブ・フォー・フォー・4ベンチマークでは、適度なグローバル相関(r = 0.47)を持つ審査員は、ランダムな選択よりも完璧な選択が達成できる改善の21.0%しか取得できない。 このギャップは、大域的な合意は、主にプロンプトレベルのベースライン効果によって駆動されるのに対して、選択はプロンプト内ランクに依存しているためである: 内部プロンプト相関は r_within = 0.27 のみであり、粗いポイントワイドスコアリングは、ペアワイズ比較の67%で関係を生じさせる。 一致した2対のベスト・オブ・ツーの監査では、露骨な判断によってこの失われた信号の大半が回復し、21.1%から61.2%に回復した。 審査に基づく選択においては、関連する監査は、グローバルな合意だけでは無く、インイン・プロンプト信号、タイレート、リカバリ/トップ-1の精度を報告すべきである。

関連論文リスト

• Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
  より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
  論文  参考訳（メタデータ） (2026-08-30T20:00:17Z)
• Beyond Accuracy: A Dual-Judge Evaluation Protocol for Vision-Language Models in Legally Grounded Tasks [1.2555090617748867]
  我々は、標準の0-10品質判断と厳密な二項意味等価判定とを、人為的な基準に対して組み合わせた二重判断プロトコルを寄贈する。 我々は、制御された視覚的基盤を持つ規制課題について研究し、その意味は、すべての入力に対して既知の参照を持つコーデレートされた質問である。
  論文  参考訳（メタデータ） (2026-08-25T08:49:46Z)
• Counterfactual, Per-Decision Bias Auditing for Automated Hiring: Localizing and Explaining Disparate Impact in Applicant Tracking Systems [0.0]
  本稿では,AIバイアスファイアウォール(AIBF)について紹介する。 AIBFは、候補者の保護属性プロキシを中和し、決定を再スコアし、結果として生じる反事実シフトを測定する。 我々は、合成データではなく、アダルトとCompASの2つの実際の公開データセットを評価する。
  論文  参考訳（メタデータ） (2026-08-21T18:19:20Z)
• When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
  CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。 CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
  論文  参考訳（メタデータ） (2026-08-04T11:45:46Z)
• PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
  PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。 14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
  論文  参考訳（メタデータ） (2026-07-02T10:59:03Z)
• The Coin Flip Judge? Reliability and Bias in LLM-as-a-Judge Evaluation [0.0]
  2つのOpenAIジャッジモデルを用いて、10のカテゴリにまたがる29のタスクの同一評価について検討した。 審査員全体では、ペアの選好は平均13.6%で反転し、質問の28%は20%のフリップ率を超え、1つの質問は56%に達した。 クロスジャッジ合意はわずか76%であり、意味論的に等価なプロンプトテンプレートはテストケースの25%で過半数の結果を変え、決定論的復号化は減少するが矛盾を排除しない。
  論文  参考訳（メタデータ） (2026-04-23T18:19:10Z)
• Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
  わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。 選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。 これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
  論文  参考訳（メタデータ） (2026-04-20T00:57:31Z)
• Re-Rankers as Relevance Judges [65.37611299805856]
  再ランカ・アズ・レバレンス・ジャッジ設定で再ランカを再現する。 TREC-DL 2019〜2023では,220Mから32Bの3家族から8人の再ランカを対象に実験を行い,再ランカに基づく審査員による評価バイアスを分析した。
  論文  参考訳（メタデータ） (2026-01-08T00:02:59Z)
• ORCA: Open-ended Response Correctness Assessment for Audio Question Answering [41.72231074041232]
  本研究では,予測精度と不確実性の両方を予測するために,ベータ分布を用いた人的判断の変動をモデル化するフレームワークORCAを提案する。 我々は15のLALMから11,721のアノテーションを収集し,0.82(クリッペンドルフのα)のアノテータ間契約を達成した。
  論文  参考訳（メタデータ） (2025-11-28T14:41:48Z)
• Fortytwo: Swarm Inference with Peer-Ranked Consensus [36.94429692322632]
  我々は、AI推論において優れたパフォーマンスを達成するために、Swarmの知能原則と分散ペアのランキングコンセンサスを活用する新しいプロトコルFortytwoを提案する。 独自のBradley-Terry-styleアグリゲーションモデルを用いて、Swarm推論が多数決をかなり上回ることを示す。
  論文  参考訳（メタデータ） (2025-10-27T23:19:48Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• ObjexMT: Objective Extraction and Metacognitive Calibration for LLM-as-a-Judge under Multi-Turn Jailbreaks [12.396822247035578]
  目的抽出とメタ認知のためのベンチマークであるexMTを提案する。 マルチターン書き起こしが与えられた場合、モデルは1文ベース目標と自己報告された自信を出力しなければならない。 正確性は金の目標と類似性によって評価され、300の校正項目で1度閾値付けされる。
  論文  参考訳（メタデータ） (2025-08-23T03:32:04Z)
• Confidence and Stability of Global and Pairwise Scores in NLP Evaluation [7.094351095888013]
  本稿では,グローバルスコアとペア比較の長所と短所を実証的に検討する。 グローバルスコアは、より信頼性の高い総合ランキングを提供する一方で、希少で重大なエラーや信頼性の低い強力なモデルを過小評価できることがわかった。
  論文  参考訳（メタデータ） (2025-07-02T12:05:22Z)
• Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
  マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。 12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
  論文  参考訳（メタデータ） (2024-11-05T01:11:28Z)
• Re-Examining System-Level Correlations of Automatic Summarization Evaluation Metrics [64.81682222169113]
  システムレベルの相関により, 要約品質の人的判断を再現する自動要約評価指標を確実に定量化する。 システムレベルの相関の定義が、実際にシステムを評価するためにメトリクスがどのように使われているかと矛盾する2つの方法を特定する。
  論文  参考訳（メタデータ） (2022-04-21T15:52:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。