Fugu-MT 論文翻訳(概要): RoPoLL: Robust Panel of LLM Judges

論文の概要: RoPoLL: Robust Panel of LLM Judges

arxiv url: http://arxiv.org/abs/2606.30931v1
Date: Mon, 29 Jun 2026 21:34:27 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-01 18:27:19.004883
Title: RoPoLL: Robust Panel of LLM Judges
Title（参考訳）: RoPoLL: LLM審査員のロバストパネル
Abstract要約: 我々は,ハマー汚染モデルの下でLLM Juryを定式化し,PoLLが任意の正の汚染下でバイアスを発生させることを示す。本稿では,PoLLパネルを保存するが,アグリゲーション関数を頑健な平均推定器で置き換えるRoPoLL(LLM-as-JudgeのRobust Panel)を提案する。
参考スコア（独自算出の注目度）: 0.48140562393133074
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The LLM Jury, a Panel of LLM Evaluators (PoLL) reporting consensus scores, has become a practical alternative to single-judge LLM evaluation, yet its statistical behavior remains poorly understood. We formalize the LLM Jury under the Huber contamination model and show that PoLL incurs unbounded bias under any positive contamination, regardless of jury size, whenever a single judge fails in a biased, LLM-typical way (mode collapse, sycophancy, safety refusal). Framing jury consensus as classical robust mean estimation, we propose RoPoLL (Robust Panel of LLM-as-Judge), which preserves the PoLL panel but replaces the aggregation function with a robust mean estimator, instantiated with the geometric median (GM): tuning-free, with the optimal finite-sample breakdown point 1/2. A finite-sample error bound and a matching information-theoretic minimax lower bound agree on the parametric rate sigma*sqrt(d/N) and differ on the breakdown floor by a factor of sqrt(d), a statistical-computational gap that polynomial-time RoPoLL pays relative to the intractable Tukey halfspace median. Across 13 open-weight judges (4B-675B), three reward-model benchmarks, and four corruption regimes at rates up to 50%, RoPoLL dominates PoLL on every biased corruption type: by about 19% on cross-dimensional attacks at matched compute, and by orders of magnitude on heavy-tailed Byzantine adversaries. A 3-judge RoPoLL committee at 38B beats Mistral-Large-3 (675B) by 1.31x on HelpSteer-2 under 30% bimodal-random corruption, an 18x parameter advantage at better accuracy; a Noisy-GT control confirms the premium is paid against biased contamination, not benign imprecision.
Abstract（参考訳）: The LLM Jury, a Panel of LLM Evaluators (PoLL) report consensus scores, has a practical alternative to single-judge LLM evaluation, but its statistics behavior not understand。 We formalize the LLM Jury under the Huber contamination model and showed PoLL incurs unbounded bias under any positive contamination, any jury size, when a single judge fails in a biased, LLM-typeal way (mode collapse, sycophancy, safety refusal)。古典的ロバスト平均推定としての陪審員の合意を破り、PoLLパネルを保存するが、凝集関数をロバスト平均推定器(GM)に置き換えるRoPoLL(LLM-as-JudgeのRobust Panel)を提案する。有限サンプル誤差境界と一致する情報理論ミニマックス下限はパラメトリックレート sigma*sqrt(d/N) で一致し、分解フロアでは sqrt(d) の係数で異なる。 13人のオープンウェイト判事(4B-675B)、3つの報酬モデルベンチマーク、4つの汚職制度を50%のレートで支配し、RoPoLLはすべての偏りのある汚職タイプでPoLLを支配した。 38Bの3judge RoPoLL 委員会は、HelpSteer-2でMistral-Large-3 (675B) を1.31xで破り、30%のバイモーダルランダムな汚職、より良い精度で18倍のパラメータを持つ。

関連論文リスト

A Four-Axis Trustworthiness Benchmark for LLM-as-Judge in Principle-Based Regulation [0.0]
原則-ベンチ(Principle-Bench)は、イギリスのFCAの2つの原則にマッピングされた168の暗号通貨の金融宣伝シナリオである。校正された監査可能な評価器は、実例ごとの正確な反事実属性を出力する。キーワードカウント、3つの文変換器埋め込み器、オープンウェイト LLM-judge とキャリブレーションされたカスケードは、どの方法も4つの軸全てを支配していない。
論文参考訳（メタデータ） (2026-08-14T14:20:38Z)
Reliability without Validity: A Systematic, Large-Scale Evaluation of LLM-as-a-Judge Models Across Agreement, Consistency, and Bias [0.0]
実際に判断の検証は、偶然を正さず、系統的に差別能力を過度に過大評価する、正確な一致の合意に依存している。 MT-Bench, judgeBench, RewardBenchの9つのプロバイダから21人の審査員が, 118ラン以上の3つのプロトコル(アグリメント, 一貫性, バイアス監査)と約541,000の個人判定で評価された。
論文参考訳（メタデータ） (2026-06-17T19:37:13Z)
On the Adversarial Robustness of Multimodal LLM Judges [49.80009278197918]
審査員として機能する汎用MLLMの対角的堅牢性を評価するための最初のフレームワークであるRobustMLLMJudgeを紹介する。 RobustMLLMJudgeを用いて、異なるMLLM審査員は、スコアを膨らませる敵攻撃に対して非常に脆弱であることを明らかにした。 MGSIAは,MLLM審査員に対するより効果的かつ伝達可能な攻撃を可能にするために,これらの制約を回避した新しい手法である。
論文参考訳（メタデータ） (2026-06-14T05:30:20Z)
Metric Match: A Subset Selection Approach to Evaluating LLM Judge Reliability [28.15461581779256]
限定アノテーションからLLM判定器の相関に基づく信頼性指標を推定する手法を開発した。 Metric Matchは、サブセットが人口信頼度と一致するように、人間のアノテーションのためのサンプルのサブセットを選択する。我々は,Metric Matchがランダムなサブセット選択に対して0.838の勝利率を達成することを実証的に示す。
論文参考訳（メタデータ） (2026-06-12T23:54:16Z)
CauTion: Knowing When to Trust LLMs for Ensemble Causal Discovery [51.07538881798502]
大規模言語モデル(LLM)は、統計的推論を補完する将来的なドメイン知識の源を提供する。我々は、LLMドメイン知識を統計的因果探索アルゴリズムのアンサンブルに確実に統合するフレームワークであるCauTionを提案する。 CauTionは、データ中心とLLM拡張ベースラインの両方を一貫して上回る。
論文参考訳（メタデータ） (2026-06-02T13:07:43Z)
A Two-Phase Stability Study of LLM Judges and Bar Council Examiners on Thai Bar-Exam Free-Form Essays [7.580441504706575]
ルーブリックが両方の軸を処方する15個の細胞のうち、29個のラッカーは全てタイトなバンドに収束する。残りの5つの細胞は、決定的な法定引用を省略する正しい最終回答の格付けを規定していないが、ヒトのパネルは2つのコヒーレントな読解を分割する。 LLM-panel $$は、両方の読みのバランスの取れた再生ではなく、多数読みの体系的な収束を反映している。
論文参考訳（メタデータ） (2026-05-25T09:58:28Z)
Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。 K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。 EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
論文参考訳（メタデータ） (2026-05-22T08:26:08Z)
OpenDeepThink: Parallel Reasoning via Bradley-Terry Aggregation [53.88666485159289]
OpenDeepThinkは、集団ベースのテスト時間計算フレームワークで、ペアワイズBradley-Terryの比較によって選択する。 OpenDeepThinkはGemini 3.1 ProのCodeforces Eloを8回のLCMコールラウンドで+405ポイント引き上げる。 CF-73は、国際グランドマスターアノテーションによる73の専門家評価コードフォース問題と、公式判決に対する99%の地域評価合意のキュレートされたセットである。
論文参考訳（メタデータ） (2026-05-14T17:57:40Z)
Judging the Judges: A Systematic Evaluation of Bias Mitigation Strategies in LLM-as-a-Judge Pipelines [0.0]
4つのプロバイダファミリーの5つの審査モデルに対して,9つのデバイアスング戦略を比較した。スタイルバイアスは支配的バイアス(全モデルで0.76-0.92)であり、位置バイアス(=0.04)をはるかに超えている。統合予算戦略により、Claude Sonnet 4 は+11.2 pp (p 0.0001) に大幅に改善され、他のモデルの方向性に好意的な傾向が見られた。
論文参考訳（メタデータ） (2026-04-25T07:18:30Z)
Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
論文参考訳（メタデータ） (2026-02-07T19:39:28Z)
Understanding LLM Evaluator Behavior: A Structured Multi-Evaluator Framework for Merchant Risk Assessment [26.786161923794115]
大規模言語モデル(LLM)は、推論品質の評価手段としてますます使われていますが、その信頼性と支払いリスク設定の偏りはよく分かっていません。本稿では,Merchant Category Code(MCC)に基づく商業リスク評価において,LCM推論を評価するための構造化マルチ評価フレームワークを提案する。
論文参考訳（メタデータ） (2026-02-04T22:55:16Z)
TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文参考訳（メタデータ） (2025-09-25T13:04:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。