論文の概要: JudgeMoE: Distributional Aggregation for LLM-as-a-Judge

• arxiv url: http://arxiv.org/abs/2610.07109v1
• Date: Mon, 05 Oct 2026 15:41:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.563708
• Title: JudgeMoE: Distributional Aggregation for LLM-as-a-Judge
• Title（参考訳）: 審査員:LLM-as-a-Judgeの分散集約
• Abstract要約: 我々は,キャッシュされた判定値の分布にサンプル固有の重みを割り当て,最終スコアを計算する前にそれらを融合する軽量アグリゲータであるJiceMoEを紹介する。 プロトコルスタディでは、判定-データセット設定間でスコアレンジの選択が不安定であり、ソフトスコアは通常ハードデコーディングを上回っている。
• 参考スコア（独自算出の注目度）: 23.77717327807449
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When an LLM judge scores an output, its score distribution retains uncertainty and disagreement information that is lost after scalar compression. We introduce JudgeMoE, a lightweight aggregator that assigns example-specific weights to cached judge score distributions and fuses them before computing a final score. A protocol study shows that score-range choice is unstable across judge--dataset settings and that soft scoring usually outperforms hard decoding. On the original 10-cell benchmark, JudgeMoE improves mean Spearman over uniform log pooling by $+0.079$. Applying the same configuration to six additional cells yields a $+0.0393$ mean gain over the strongest local single judge across 16 cells, with positive differences in 12/16 cells and a one-sided Wilcoxon signed-rank $p=0.0091$. Validation-based analyses further show that the preferred aggregation method depends on the task and judge pool.
• Abstract（参考訳）: LLM判定器が出力を得点すると、そのスコア分布はスカラー圧縮後に失われる不確実性と不一致情報を保持する。 我々は,キャッシュされた判定値の分布にサンプル固有の重みを割り当て,最終スコアを計算する前にそれらを融合する軽量アグリゲータであるJiceMoEを紹介する。 プロトコルスタディでは、判定-データセット設定間でスコアレンジの選択が不安定であり、ソフトスコアは通常ハードデコーディングを上回っている。 オリジナルの10セルベンチマークでは、CounctionMoEは、一様ログプーリングよりも平均Spearmanを$+0.079$で改善した。 同じ構成を6つの追加細胞に適用すると、16の細胞で最強のローカル・シングル・ジャッジよりも0.0393$の平均的なゲインが得られ、12/16の細胞と一方のウィルコクソンの署名ランクはp=0.0091$である。 検証に基づく分析は、優先的な集約法がタスクと判断プールに依存することを示す。

関連論文リスト

• Frozen Judges, Moving Agents: Version-Dependent LLM-Judge Error and the Limits of Judge-Assisted Agent Evaluation [7.504639516424482]
  言語モデル審査員はエージェントのアップグレードを前任者と比較するが、固定された審査員はバージョンに依存した誤りを犯すことがある。 公開コーディングエージェント35件、カスタマーサービスエージェント2件、専門家ラベル付きエージェントRewardBenchトラジェクトリ1,106件を分析した。
  論文  参考訳（メタデータ） (2026-09-28T03:10:18Z)
• Three Ways Classical Test Theory Misleads for LLM Judges [0.0]
  広く移植可能な3つのものは、審査官がそれらのデザインが持つ役割を整理するため、試験とは別の意味を持つことを示す。 ルーブリック素子上で計算された内部整合係数は、スコアラ面を持たない。 それにもかかわらず、裁判官が帰属できない係数は、配置決定と開示文書に下流を移動する。
  論文  参考訳（メタデータ） (2026-08-31T11:44:16Z)
• Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
  より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
  論文  参考訳（メタデータ） (2026-08-30T20:00:17Z)
• A Finite-Calibration Regime Map for LLM Judge Panels [20.713333832898766]
  低次元のスタッカーは、見積もりコストが小さいが、相互作用を見逃す。 共同テーブルキャリブレータは相互作用を表現できるが、細胞数や目に見えないパターンに課金する。 有限校正パネル選択としてインスタンス化する。
  論文  参考訳（メタデータ） (2026-05-31T05:50:27Z)
• Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
  我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。 K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。 EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
  論文  参考訳（メタデータ） (2026-05-22T08:26:08Z)
• Calibrate, Don't Curate: Label-Efficient Estimation from Noisy LLM Judges [3.974554103907186]
  ラベル付きキャリブレーションデータを用いたマルチジャッジ評価では、弱い判断を精度だけで破棄しないことが示されている。 本稿では, 適切なスコアリングルール下での最適校正リスクが, 付加的な判定信号が利用可能になった場合に増大しないことを示すオラクル分析による逆転について説明する。
  論文  参考訳（メタデータ） (2026-05-10T18:49:58Z)
• JudgeSense: A Benchmark for Prompt Sensitivity in LLM-as-a-Judge Systems [0.0]
  大規模言語モデルは、他のモデルを評価するための自動判断器として、ますます多くデプロイされている。 我々は、判断感度スコア(JSS)を通じて、このプロパティを定量化するフレームワークとベンチマークであるJiceSenseを紹介します。 事実として、すべての審査員は、極性反転プロンプトアーティファクトによって駆動されるJSS付近に約0.63のクラスタをクラスタする。 コード、意思決定ログ、検証済みのパラフレーズデータセットをリリースし、標準化されたJSSレポートをサポートします。
  論文  参考訳（メタデータ） (2026-04-26T00:08:30Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。