論文の概要: LLM Judge Validation Under Sparse Overlap: From Inference to Design

• arxiv url: http://arxiv.org/abs/2609.31857v2
• Date: Tue, 29 Sep 2026 01:50:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.563826
• Title: LLM Judge Validation Under Sparse Overlap: From Inference to Design
• Title（参考訳）: スパースオーバーラップ下でのLCM判決の検証:推論から設計へ
• Abstract要約: 5%が重なり合っており、誤判定率は25%に達し、10人の候補者の中から間違った判断を下す確率は65%であることを示す。 視覚評価,因果推論,要約を対象とする4つの評価行列の10個のLCM判定値について検証した。
• 参考スコア（独自算出の注目度）: 25.08885348060441
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Validating an LLM-as-a-judge requires estimating its agreement with humans, yet annotation budgets rarely allow every item to be multiply labeled. We prove that this overlap sparsity is the first-order determinant of wrong deployment decisions: at 5% pairwise overlap, wrong-decision rates reach 25% and the probability of selecting the wrong best judge among ten candidates is 65%. The two actionable levers are overlap quantity and allocation. For quantity, we derive a minimum-overlap formula showing $ρ\geq 0.25$ suffices for non-borderline judges while borderline cases remain fundamentally hard. For allocation, a zero-cost stratified scheme halves false-rejection rates relative to random sampling when strata are informative. We validate on 10 LLM judges across four evaluation matrices spanning visual assessment, causal reasoning, and summarization.
• Abstract（参考訳）: LLM-as-a-judgeを検証するには、人間との合意を見積もる必要があるが、アノテーションの予算によって、すべてのアイテムにマージラベルを付けることはめったにない。 5%のペアのオーバーラップで、誤った判断率が25%に達し、10人の候補者の中で間違った判断を下す確率は65%である。 2つの作用可能なレバーは重なり合い量と割り当てである。 量について、境界線の場合を基本的に困難に保ちながら、境界線以外の判断に対して$ρ\geq 0.25$ sufficesを示す最小オーバーラップ式を導出する。 割り当てのために、ゼロコストの成層スキームは、成層が通知されたときのランダムサンプリングに対する偽の退避率を半減する。 視覚評価,因果推論,要約を対象とする4つの評価行列の10個のLCM判定値について検証した。

関連論文リスト

• Can We Trust LLM Judges: A Study of Capability-Dependent Biases and Multi-Judge Ensemble for Bias Calibration [0.5294698352039444]
  より現実的なユースケースを反映した絶対スコアリングタスクについて検討する。 モデルのタスク精度は、その判断精度を強く予測することを示す。 より有能な試験モデルは、すべての裁判官からより寛大な判断を受ける。
  論文  参考訳（メタデータ） (2026-09-10T00:25:39Z)
• SLMJury: Can Small Language Models Judge as Well as Large Ones? [1.5990700377571574]
  SLMJury(Small Language Model (SLM) 評価フレームワーク)を2つのパラダイムの審査対象として紹介する。 我々は10のベンチマークで4つのモデルファミリーから16のSLM判定値(0.6B-14Bパラメータ)をベンチマークした。 信頼性の高い自動評価は大きなプロプライエタリなモデルを必要としないが、単一のSLMが支配的ではない。
  論文  参考訳（メタデータ） (2026-06-05T19:38:15Z)
• Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
  我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。 K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。 EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
  論文  参考訳（メタデータ） (2026-05-22T08:26:08Z)
• The Coin Flip Judge? Reliability and Bias in LLM-as-a-Judge Evaluation [0.0]
  2つのOpenAIジャッジモデルを用いて、10のカテゴリにまたがる29のタスクの同一評価について検討した。 審査員全体では、ペアの選好は平均13.6%で反転し、質問の28%は20%のフリップ率を超え、1つの質問は56%に達した。 クロスジャッジ合意はわずか76%であり、意味論的に等価なプロンプトテンプレートはテストケースの25%で過半数の結果を変え、決定論的復号化は減少するが矛盾を排除しない。
  論文  参考訳（メタデータ） (2026-04-23T18:19:10Z)
• LLM-as-Judge on a Budget [35.393598355979385]
  多武装バンディット理論と濃度不等式を利用する原理的分散適応アプローチを提案する。 本アルゴリズムは, 最悪値推定誤差が$tildeOleft(sqrtfracsum_i=1K_i2Bright)$であることを示す。 emphSummarize-From-Feedback と emphHelpSteer2 の実験により,本手法が一様アロケーションを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2026-02-17T10:35:41Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Quantitative LLM Judges [60.773734899532336]
  本研究では,既存のLLM審査員の評価スコアを,与えられた領域内の人間と一致させる定量的LLM審査員を提案する。 モデルは、その合理性とスコアを使用して、元の審査員のスコアを改善するために訓練される。 実験の結果, 定量的な判断は, ポストホックモデリングにより, 既存の判断の予測力を向上できることがわかった。
  論文  参考訳（メタデータ） (2025-06-03T14:44:23Z)
• JudgeLRM: Large Reasoning Models as a Judge [80.07261839142548]
  判断指向大規模言語モデル(LLM)のファミリーであるジャッジLRMを紹介する。 SFTの性能向上と推論要求サンプルの比率との間には負の相関が見られ、これらのシナリオにおけるSFTの限界が明らかになる。 判定LRMは、他のRLおよびSFTの変種と同様に、同じサイズでSFTチューニングベースラインを一貫して上回り、最先端の推論モデルを超えていることを示す。
  論文  参考訳（メタデータ） (2025-03-31T02:18:51Z)
• Multi-label Contrastive Predictive Coding [125.03510235962095]
  差分相互情報(MI)推定器は、コントラスト予測符号化(CPC)のような教師なし表現学習法で広く利用されている。 本稿では,複数の正のサンプルを同時に同定する必要がある多ラベル分類問題に基づく新しい推定器を提案する。 同一量の負のサンプルを用いて複数ラベルのCPCが$log m$boundを超えることができる一方で、相互情報の有意な下限であることを示す。
  論文  参考訳（メタデータ） (2020-07-20T02:46:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。