論文の概要: Evaluating LLM-as-a-Judge Beyond Score Alignment: A Psychometric Analysis of Residual Judging Difficulty

• arxiv url: http://arxiv.org/abs/2610.02877v1
• Date: Fri, 02 Oct 2026 06:13:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.242356
• Title: Evaluating LLM-as-a-Judge Beyond Score Alignment: A Psychometric Analysis of Residual Judging Difficulty
• Title（参考訳）: LLM-as-a-Judge Beyond Score Alignment: A Psychometric Analysis of Residual Judging Diffulty
• Abstract要約: 大規模言語モデル(LLM)は自動判断器として広く用いられ、人間のスコアと一致して評価されるのが一般的である。 本稿では,心理学的観点からの要約評価においてこの問題を考察する。 遅延要約品質の適度なアライメントは残留硬さのアライメントを示唆しない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are widely used as automatic judges, with validity typically assessed via alignment with human scores. However, aggregate agreement fails to reveal whether humans and LLMs find the same evaluation cases difficult. In this paper, we study this problem in summarization evaluation from a psychometric perspective. We fit Many-Facet Rasch Models separately to human and LLM ratings to decompose scores into latent summary quality, rater severity, dimension severity, and rating-scale thresholds. Building on this decomposition, we define residual hardness as a model-adjusted measure of judging difficulty and compare whether human and LLM judges share the same hardness structure. Across 17 open-weight LLM judges on SummEval, we find that moderate alignment in latent summary quality does not imply alignment in residual hardness. Human and LLM judges differ in which summary--dimension units remain difficult, and this mismatch is strongly dimension-dependent. Consistency shows a pronounced LLM-hard shift, whereas coherence shows a human-hard shift. We further show that human-easy but LLM-hard cases are partially predictable from observable source--summary properties. These findings suggest that aggregate human alignment reflects only part of LLM-as-a-judge reliability, while psychometric residual diagnostics support more informative judge evaluation and more targeted human--LLM collaboration.
• Abstract（参考訳）: 大規模言語モデル(LLM)は自動判断器として広く用いられ、人間のスコアと一致して評価されるのが一般的である。 しかし、人間とLLMが同じ評価ケースを難しいと判断するかどうかは、集合的な合意では明らかでない。 本稿では,心理学的観点からの要約評価においてこの問題を考察する。 Many-Facet Rasch Modelsを人間とLLMの評価に別々に適合させ、スコアを潜在要約品質、レーダ重大度、寸法重大度、レーティングスケール閾値に分解する。 この分解に基づいて、残留硬度を、困難を判断するモデル調整尺度として定義し、人間とLLMの裁判官が同じ硬度構造を共有しているかどうかを比較する。 SummEval のオープンウェイト LLM 審査員17名中17名を対象に, 潜時要約品質の適度なアライメントは, 残留硬さのアライメントを示唆しないことを示した。 人間とLLMの判断は、要約-次元単位が困難なままであり、このミスマッチは次元に依存している。 一貫性はLDM-ハードシフトを示すが、コヒーレンスは人間のハードシフトを示す。 また,可観測光源特性からLLMハードケースが部分的に予測可能であることも明らかにした。 これらの結果から,総合的ヒトアライメントはLCM-as-a-judge信頼性の一部のみを反映し,心理測定的残留診断はより情報的判断評価とより標的的人間-LLM協調を支援することが示唆された。

関連論文リスト

• DIAL: Position-Debiased LLM Judges with Adaptive Human Preference Calibration [6.840580014232331]
  ジャッジとしての大規模言語モデル(LLM)は、スケーラブルな評価を可能にするが、その判断は応答順序に敏感である。 DIALは、豊富なLLM比較と限定された人間比較とを結合した統合されたフレームワークで、判断固有の位置効果を分離する。 DIALの3つの側面として, (i) 潜時LDM選好, 位置効果, 人間の校正の同定, (ii) 限定された人間の証拠とLLMアンカーのバランスをとる適応推定, (iii) 校正された人間の選好に対する固定重量不確実性定量化について検討した。
  論文  参考訳（メタデータ） (2026-09-25T12:56:36Z)
• Augmenting Human Evaluation with LLM Judges: How Many Human Reviews Do You Need? [1.111977509278551]
  大規模言語モデル(LLM)は、ハイテイクなアプリケーションを含むAIシステムの自動評価手段として、ますます利用されている。 専門家の人間格付けは高価でスケールが難しいが、LSM格付けは低コストで迅速に作成できる。 本稿では,LLM審査員の役割を代用的から補助的へとシフトさせ,LLM-as-a-judgeパラダイムを人的評価の強化の1つとして定式化する。
  論文  参考訳（メタデータ） (2026-05-08T17:13:08Z)
• Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
  大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。 要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
  論文  参考訳（メタデータ） (2026-02-07T19:39:28Z)
• Grading Scale Impact on LLM-as-a-Judge: Human-LLM Alignment Is Highest on 0-5 Grading Scale [34.83728471879048]
  LLM-as-a-judge問題について,人間とLSMの2種類のラッカーを比較して検討した。 LLM判定は主観的ベンチマークのスケールで完全に整合性がないことがわかった。 0-5のグルーピングスケールは、人間とLLMのアライメントが最強である。
  論文  参考訳（メタデータ） (2026-01-06T22:12:06Z)
• Systematic Evaluation of LLM-as-a-Judge in LLM Alignment Tasks: Explainable Metrics and Diverse Prompt Templates [11.948519516797745]
  LLM審査員の信頼性とアライメントを評価・比較・可視化するオープンソースフレームワークを開発した。 以上の結果から,LLM判定性能に対するプロンプトテンプレートの影響や,LLM判定器とヒト評価器の中間的なアライメントレベルに有意な影響が示唆された。
  論文  参考訳（メタデータ） (2024-08-23T11:49:01Z)
• LLMs instead of Human Judges? A Large Scale Empirical Study across 20 NLP Evaluation Tasks [106.09361690937618]
  人間の判断の代わりにLPMを用いてNLPモデルを評価する傾向が高まっている。 JUDGE-BENCHは20個のNLPデータセットのコレクションで、人間のアノテーションで、幅広い評価された特性やデータの種類をカバーしています。 アノテーションを複製できるため、オープンウェイトモデルとプロプライエタリモデルの両方をカバーする11の現在のLCMを評価します。
  論文  参考訳（メタデータ） (2024-06-26T14:56:13Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• Large Language Models are Inconsistent and Biased Evaluators [2.136983452580014]
  我々は,Large Language Models (LLMs) が親しみの偏りを示し,評価の歪んだ分布を示すため,評価値の偏りを示すことを示した。 また, LLM は不整合性評価器であり, テキスト品質の人間の理解に欠かせない相違を誘発する「サンプル間合意」が低く, 感度が高いことがわかった。
  論文  参考訳（メタデータ） (2024-05-02T20:42:28Z)
• Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
  抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。 また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
  論文  参考訳（メタデータ） (2023-05-22T14:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。