論文の概要: AGORA: Reliability-Aware Aggregation of LLM Judges on Small Evaluation Sets
- arxiv url: http://arxiv.org/abs/2611.05556v2
- Date: Wed, 11 Nov 2026 19:54:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.845392
- Title: AGORA: Reliability-Aware Aggregation of LLM Judges on Small Evaluation Sets
- Title(参考訳): AGORA:小規模評価集合におけるLCM審査員の信頼性を考慮した集団化
- Abstract要約: LLM-as-a-judgeは費用対人評価の一般的な代替品である。
項目応答理論アグリゲータであるAGORAを提案する。
- 参考スコア(独自算出の注目度): 1.5229257192293202
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM-as-a-judge is a common substitute for costly human evaluation, and aggregating several judges is the standard remedy for any single judge's bias. Judge pools mix judges of very different reliability, while the human-labeled sets that validate them hold a few hundred items or fewer. In this regime the per-item mean weights weak judges as heavily as strong ones, and confusion-table models such as Dawid-Skene must estimate a per-judge error table from too few items. We propose AGORA (Aggregation Of Reliability-weighted Assessments), an item-response-theory aggregator that places every item on one latent quality scale and describes each judge by a sensitivity parameter and ordered rating thresholds, so judge reliability is learned from all items jointly and without human labels. Across three benchmarks, AGORA matches or exceeds Dawid-Skene on large evaluation sets, and its advantage widens as the set shrinks toward a few hundred items. It remains accurate as pools grow more uneven, a label-free dispersion statistic indicates in advance when trust weighting helps, and its learned trust weights track per-judge human validity. Code is available at https://github.com/JunhyungAhn/llm-as-judge-irt.
- Abstract(参考訳): LLM-as-a-judgeは費用のかかる人的評価の一般的な代用であり、複数の審査員を集約することは、任意の1人の裁判官の偏見に対する標準的な治療法である。
判定プールは、非常に異なる信頼性の審査員を混在させ、検証する人間ラベルセットは数百点以下のアイテムを保持する。
この体制では、単位単位の重みは強いものと同じくらい弱いと判断され、ダウィド・スケインのような混乱状態のモデルでは、あまりに少ない項目からジャッジ単位の誤差表を推定しなければならない。
そこで我々は,AGORA(Aggregation of Reliability-weighted Assessments)を提案する。AGORA(Aggregation of Reliability-weighted Assessments)は項目応答理論のアグリゲータで,各項目を1つの潜在品質尺度に配置し,各判断を感度パラメータと順序付け閾値で記述する。
3つのベンチマークで、AGORAは大規模な評価セットでDawid-Skeneと一致または上回った。
プールがより不均一に成長するにつれて、信頼重み付けが助けとなる場合、ラベルのない分散統計が事前に示し、その学習された信頼重みが人間の正当性を追跡する。
コードはhttps://github.com/JunhyungAhn/llm-as-judge-irt.comで公開されている。
関連論文リスト
- Agreement Overstates Evidence: Error Dependence in LLM Judge Consensus [43.232837964609416]
オープンウェイトとフロンティアLLMの双方の判定において,かなりの誤差相関が認められた。
比較の最大28%では、共有エラーを無視することは、1つのシステムの方がはるかに優れているという結論につながる。
評価精度を推定し,共有誤りを同定するために,信頼された少数の例を用いるという,単純なアプローチを提案する。
論文 参考訳(メタデータ) (2026-09-18T19:20:40Z) - Can We Trust LLM Judges: A Study of Capability-Dependent Biases and Multi-Judge Ensemble for Bias Calibration [0.5294698352039444]
より現実的なユースケースを反映した絶対スコアリングタスクについて検討する。
モデルのタスク精度は、その判断精度を強く予測することを示す。
より有能な試験モデルは、すべての裁判官からより寛大な判断を受ける。
論文 参考訳(メタデータ) (2026-09-10T00:25:39Z) - Three Ways Classical Test Theory Misleads for LLM Judges [0.0]
広く移植可能な3つのものは、審査官がそれらのデザインが持つ役割を整理するため、試験とは別の意味を持つことを示す。
ルーブリック素子上で計算された内部整合係数は、スコアラ面を持たない。
それにもかかわらず、裁判官が帰属できない係数は、配置決定と開示文書に下流を移動する。
論文 参考訳(メタデータ) (2026-08-31T11:44:16Z) - Calibrate, Don't Curate: Label-Efficient Estimation from Noisy LLM Judges [3.974554103907186]
ラベル付きキャリブレーションデータを用いたマルチジャッジ評価では、弱い判断を精度だけで破棄しないことが示されている。
本稿では, 適切なスコアリングルール下での最適校正リスクが, 付加的な判定信号が利用可能になった場合に増大しないことを示すオラクル分析による逆転について説明する。
論文 参考訳(メタデータ) (2026-05-10T18:49:58Z) - CyclicJudge: Mitigating Judge Bias Efficiently in LLM-based Evaluation [6.3121191919394475]
この研究は、ベンチマークスコアの分散をシナリオ、生成、判断、残留コンポーネントに分割する分散分解を導入する。
この分析に基づいて, 審査員のシナリオへのラウンドロビンの割り当てであるCyclicJudgeが, 一定の審査-呼出予算の最適戦略であることを実証した。
論文 参考訳(メタデータ) (2026-03-02T13:46:32Z) - A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。
我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文 参考訳(メタデータ) (2026-02-04T15:13:35Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳(メタデータ) (2025-09-25T13:04:29Z) - JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。
審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
論文 参考訳(メタデータ) (2024-10-16T17:58:19Z) - JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。
本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。
我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
論文 参考訳(メタデータ) (2023-10-26T17:48:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。