論文の概要: The Coin Flip Judge? Reliability and Bias in LLM-as-a-Judge Evaluation
- arxiv url: http://arxiv.org/abs/2606.13685v1
- Date: Thu, 23 Apr 2026 18:19:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:12.881278
- Title: The Coin Flip Judge? Reliability and Bias in LLM-as-a-Judge Evaluation
- Title（参考訳）: コインフリップ判決 : LLM-as-a-Judge評価における信頼性とバイアス
- Abstract要約: 2つのOpenAIジャッジモデルを用いて、10のカテゴリにまたがる29のタスクの同一評価について検討した。
審査員全体では、ペアの選好は平均13.6%で反転し、質問の28%は20%のフリップ率を超え、1つの質問は56%に達した。
クロスジャッジ合意はわずか76%であり、意味論的に等価なプロンプトテンプレートはテストケースの25%で過半数の結果を変え、決定論的復号化は減少するが矛盾を排除しない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM-as-a-Judge is now widely used to rank model outputs, train reward models, and populate public leaderboards, but its run-to-run reliability remains under-characterized. We study repeated identical evaluations on 29 tasks spanning 10 categories using two OpenAI judge models (GPT-4o-mini and GPT-4.1-mini), with 50 pairwise trials and 50 pointwise trials per question, supplemented by temperature and prompt-sensitivity ablations. Across judges, pairwise preferences flip on average 13.6% of the time, with 28% of questions exceeding a 20% flip rate and one question reaching 56%. GPT-4o-mini also exhibits a significant first-position bias (72% A-majority, p = 0.024). At the same time, mean pointwise score gaps are small (0.19--0.36 on a 10-point scale) and not statistically significant in aggregate, producing a pairwise--pointwise gap: judges frequently choose a winner even when their own scalar scores provide little evidence of a meaningful quality difference. Beyond within-judge instability, cross-judge agreement is only 76% ($κ= 0.51$), semantically equivalent prompt templates change majority outcomes in 25% of tested cases, and deterministic decoding reduces but does not eliminate inconsistency. A reliability curve analysis shows that, in our dataset, 11 repeated trials are needed for a majority vote to recover the 50-trial reference verdict with 95% probability on average, rising to 15 for high-variance questions. These findings suggest that single-trial LLM judging is often too noisy for high-stakes evaluation, and that multi-trial aggregation, position randomization, and explicit uncertainty reporting should be standard practice. Because both judges are from a single provider, cross-provider replication remains an important next step.
- Abstract（参考訳）: LLM-as-a-Judgeは現在、モデル出力のランク付け、報酬モデルのトレーニング、公共のリーダーボードの投入に広く使用されているが、実行時の信頼性は未成熟のままである。
2つの OpenAI 判定モデル (GPT-4o-mini と GPT-4.1-mini ) を用いて, 2つのカテゴリーにまたがる29のタスクについて, それぞれ50のペア・トライアルと50のポイント・トライアルを繰り返し, 温度, 即効性改善で補足した。
審査員全体では、ペアの選好は平均13.6%で反転し、質問の28%は20%のフリップ率を超え、1つの質問は56%に達した。
GPT-4o-mini は 72% A-majority, p = 0.024 である。
同時に、平均点点差は小さく(10点スケールで0.19-0.36)、統計学的に有意ではないため、対点点差が生じる。
テストケースの25%では、セマンティックに等価なプロンプトテンプレートが多数決結果を変え、決定論的デコーディングは減少するが、一貫性を排除しない。
信頼性曲線解析により, 多数決において, 平均95%の確率で50回の基準判定を回収するためには, 11回の再試行が必要であり, 高分散質問では15回まで上昇した。
以上の結果から, 単一心房中LCM判定は高評価にはノイズが多すぎることが示唆され, 多心室凝集, 位置ランダム化, 明示的不確実性報告は標準的慣行であることが示唆された。
どちらの裁判官も単一のプロバイダのものであるため、クロスプロデューサレプリケーションは依然として重要なステップである。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Can We Trust LLM Judges: A Study of Capability-Dependent Biases and Multi-Judge Ensemble for Bias Calibration [0.5294698352039444]
より現実的なユースケースを反映した絶対スコアリングタスクについて検討する。
モデルのタスク精度は、その判断精度を強く予測することを示す。
より有能な試験モデルは、すべての裁判官からより寛大な判断を受ける。
論文 参考訳（メタデータ） (2026-09-10T00:25:39Z) - A Judge Should Know What Changed:Construct Validity for LLM-as-a-Judge Evaluation [14.867869624585886]
評価器の構成妥当性を2次元プロファイルとして定式化する。
S と R は独立であり、スカラーの要約がすべての関連する比較を保存することはないことを示す。
これらの結果から, 評価対象構造の変化に対して, 高判定基準は弱い感度で共存できることが示唆された。
論文 参考訳（メタデータ） (2026-08-25T11:32:54Z) - Reliability without Validity: A Systematic, Large-Scale Evaluation of LLM-as-a-Judge Models Across Agreement, Consistency, and Bias [0.0]
実際に判断の検証は、偶然を正さず、系統的に差別能力を過度に過大評価する、正確な一致の合意に依存している。
MT-Bench, judgeBench, RewardBenchの9つのプロバイダから21人の審査員が, 118ラン以上の3つのプロトコル(アグリメント, 一貫性, バイアス監査)と約541,000の個人判定で評価された。
論文 参考訳（メタデータ） (2026-06-17T19:37:13Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳（メタデータ） (2026-05-17T07:08:14Z) - Calibrate, Don't Curate: Label-Efficient Estimation from Noisy LLM Judges [3.974554103907186]
ラベル付きキャリブレーションデータを用いたマルチジャッジ評価では、弱い判断を精度だけで破棄しないことが示されている。
本稿では, 適切なスコアリングルール下での最適校正リスクが, 付加的な判定信号が利用可能になった場合に増大しないことを示すオラクル分析による逆転について説明する。
論文 参考訳（メタデータ） (2026-05-10T18:49:58Z) - When LLM Judge Scores Look Good but Best-of-N Decisions Fail [0.29465623430708904]
大規模言語モデルは、しばしば審査員が候補の応答を採点し、単一のグローバルメトリックで検証するために使用される。
プロンプト内で実際のデプロイメントタスクが最良選択である場合、これは誤解を招く可能性がある。
審査に基づく選択においては、関連する監査は、グローバルな合意だけでは無く、インイン・プロンプト信号、タイレート、リカバリ/トップ-1の精度を報告すべきである。
論文 参考訳（メタデータ） (2026-03-12T23:40:03Z) - Re-Rankers as Relevance Judges [65.37611299805856]
再ランカ・アズ・レバレンス・ジャッジ設定で再ランカを再現する。
TREC-DL 2019〜2023では,220Mから32Bの3家族から8人の再ランカを対象に実験を行い,再ランカに基づく審査員による評価バイアスを分析した。
論文 参考訳（メタデータ） (2026-01-08T00:02:59Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳（メタデータ） (2025-09-29T12:15:52Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z) - ObjexMT: Objective Extraction and Metacognitive Calibration for LLM-as-a-Judge under Multi-Turn Jailbreaks [12.396822247035578]
目的抽出とメタ認知のためのベンチマークであるexMTを提案する。
マルチターン書き起こしが与えられた場合、モデルは1文ベース目標と自己報告された自信を出力しなければならない。
正確性は金の目標と類似性によって評価され、300の校正項目で1度閾値付けされる。
論文 参考訳（メタデータ） (2025-08-23T03:32:04Z) - Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。
12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
論文 参考訳（メタデータ） (2024-11-05T01:11:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。