Fugu-MT 論文翻訳(概要): Three Ways Classical Test Theory Misleads for LLM Judges

論文の概要: Three Ways Classical Test Theory Misleads for LLM Judges

arxiv url: http://arxiv.org/abs/2609.29709v1
Date: Mon, 31 Aug 2026 11:44:16 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-28 05:09:56.115631
Title: Three Ways Classical Test Theory Misleads for LLM Judges
Title（参考訳）: LLM審査員にとっての古典的テスト理論の3つの方法
Abstract要約: 広く移植可能な3つのものは、審査官がそれらのデザインが持つ役割を整理するため、試験とは別の意味を持つことを示す。ルーブリック素子上で計算された内部整合係数は、スコアラ面を持たない。それにもかかわらず、裁判官が帰属できない係数は、配置決定と開示文書に下流を移動する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: An LLM judge scores a bank of responses against a rubric, and the reliability comes back at $0.52$. What has been measured? Judge evaluation has begun borrowing reliability statistics from classical test theory, usually without stating the measurement design each statistic assumes, and we show that three widely portable ones mean something different for a judge than for a test because the judge setting rearranges the roles those designs rest on. First, an internal-consistency coefficient computed over rubric elements contains no scorer facet. Holding one judge's measured error rate fixed at $4.72\%$, KR-20 still ranges from $0.01$ to $0.68$ as the item bank is redesigned around it, and varying judge error moves the coefficient by a comparable amount, so item design and judge error are not separately identified and no single value can be read as a property of the judge. Second, the dependability index $Φ(λ)$ is a ratio of variance components, and the classification probability with which it is sometimes identified differs from it by $0.25$-$0.43$ on our bank and by $0.17$-$0.30$ on simulated data where the underlying model holds exactly. Third, Livingston-Lewis accuracy is indexed to an examinee's own true score on the same instrument, so scoring it against external gold conflates judge unreliability with criterion invalidity. Reviewing the three closest judge-evaluation papers, we found no published instance of these errors, which makes the caution prospective. A coefficient that cannot be attributed to the judge nonetheless travels downstream into deployment decisions and disclosure documents. We therefore close with four reporting lines that keep the attribution attached to the number.
Abstract（参考訳）: LLMの審査員は、ごみに対する反応のバンクをスコアし、信頼性は0.52ドル(約4万5000円)で返される。何が測定されたか? 審査員評価は古典的テスト理論から信頼性統計を借用し始めており、各統計学が想定する測定設計を記述せずに、広く可搬可能な3つのものは、審査官がそれらの設計が持つ役割を再構成するため、試験とは別の意味を持つことを示す。まず、ルーブリック要素上で計算された内部整合係数は、スコアリングファセットを含まない。 1人の審査員の誤差率を4.72\%で固定すると、KR-20はアイテムバンクが再設計されても0.01ドルから0.68ドルの範囲であり、異なる審査員の誤差は同等の量で係数を移動させるため、項目設計と判断誤差は別々に識別されず、裁判官の属性として単一の値を読むことはできない。第二に、信頼度指数$ λ(λ)$は分散成分の比であり、それが特定される場合の分類確率は、我々の銀行では$0.25$-$0.43$、基礎モデルが正確に保持されるシミュレートされたデータでは$0.17$-$0.30$である。第3に、リビングストン=ルイスの精度は、同じ楽器の試験員自身の真のスコアに指数付けされるので、外部の金とのスコア付けは、基準の無効さで不信を判断する。最寄りの3つの判断評価論文をレビューした結果,これらの誤りの事例は発表されていない。それにもかかわらず、裁判官が帰属できない係数は、配置決定と開示文書に下流を移動する。したがって、4つのレポートラインに近づき、その数字に属性が付加される。

関連論文リスト

JEV-as-a-Judge: Accept When Confident, Escalate When Unsure [8.817173484053148]
LLM-as-a-judgeは様々なタスクに対する評価を可能にするが、大規模では推論コストと信頼性が重要になる。我々は、意思決定のみの裁判官が経済的第一パスを提供し、いつより強い評価が必要かを特定することができるかどうかを検討する。
論文参考訳（メタデータ） (2026-09-22T15:05:56Z)
Agreement Overstates Evidence: Error Dependence in LLM Judge Consensus [43.232837964609416]
オープンウェイトとフロンティアLLMの双方の判定において,かなりの誤差相関が認められた。比較の最大28%では、共有エラーを無視することは、1つのシステムの方がはるかに優れているという結論につながる。評価精度を推定し,共有誤りを同定するために,信頼された少数の例を用いるという,単純なアプローチを提案する。
論文参考訳（メタデータ） (2026-09-18T19:20:40Z)
Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
論文参考訳（メタデータ） (2026-08-30T20:00:17Z)
Agreement Metrics for LLM-as-Judge Evaluation: What to Report and Why [34.429649156970015]
最近のLLM-as-judge論文24件の調査では、判定尺度、ネクタイハンドリング、不正出力、禁断ハンドリングに絡み合ったメトリックの選択が見つかった。 Pearson's $r$、Spearman's $、Kendall's $_b$、phi係数$$、Matthews correlation Coefficientはすべて1つの数に還元される。
論文参考訳（メタデータ） (2026-05-25T07:31:44Z)
How Sensitive Are Safety Benchmarks to Judge Configuration Choices? [5.94231111588812]
HarmBenchのような安全ベンチマークは、モデル応答を有害または安全と分類する判断に頼っている。判定モデルと判定プロンプトの組み合わせは,一般に一定の実装の詳細として扱われる。審査員モデルの定式化により, 評価された有害応答率を最大24.2%にシフトした。
論文参考訳（メタデータ） (2026-04-27T05:59:59Z)
CyclicJudge: Mitigating Judge Bias Efficiently in LLM-based Evaluation [6.3121191919394475]
この研究は、ベンチマークスコアの分散をシナリオ、生成、判断、残留コンポーネントに分割する分散分解を導入する。この分析に基づいて, 審査員のシナリオへのラウンドロビンの割り当てであるCyclicJudgeが, 一定の審査-呼出予算の最適戦略であることを実証した。
論文参考訳（メタデータ） (2026-03-02T13:46:32Z)
A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文参考訳（メタデータ） (2026-02-04T15:13:35Z)
TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文参考訳（メタデータ） (2025-09-25T13:04:29Z)
JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
論文参考訳（メタデータ） (2024-10-16T17:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。