論文の概要: Rating the Raters: Rasch Measurement Theory for LLM Evaluation

• arxiv url: http://arxiv.org/abs/2608.27463v2
• Date: Tue, 01 Sep 2026 23:00:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.390081
• Title: Rating the Raters: Rasch Measurement Theory for LLM Evaluation
• Title（参考訳）: レーダのレーティング:LLM評価のためのラッシュ測定理論
• Abstract要約: ラシュ測度理論(RMT)はこの問題によく適している。 RMTは、順序格付けを共通のスケールで分離可能なファセットに分解する。 本稿では,LLM-as-rater パラダイムに適用した RMT のケーススタディについて述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs now sit on every side of evaluation: as examinees scored on benchmarks, judges of other models' outputs, and raters of human-generated content. Each paradigm can be viewed as a measurement problem, where a latent property of an object is probed with items from an instrument (e.g., benchmark) by judges or raters. Standard evaluation practices often neglect the contributions of each core component to the end result, limiting our understanding of what is being measured. Rasch measurement theory (RMT) is well-suited to this problem. RMT decomposes ordinal ratings into separable facets on a common scale. It further provides a battery of diagnostics that can identify miscalibrated measurements and rater biases. We present a case study of RMT applied to the LLM-as-rater paradigm using the Measuring Hate Speech corpus, whose construct was itself built under RMT. We fit a series of many-facet Rasch models to annotations from nine LLMs spanning families and capability levels. Our analyses show that LLMs systematically differ from human raters in severity, item-level calibration, question-order robustness, target-identity sensitivity, and rating scale use, all of which standard evaluation practice would largely obscure. Overall, we argue that RMT belongs in the toolkit for evaluating LLM-as-examinee, -judge, and -rater paradigms.
• Abstract（参考訳）: LLMは今や評価のあらゆる側面に置かれている: ベンチマーク、他のモデルのアウトプットの審査員、人為的コンテンツのレーダなどである。 それぞれのパラダイムは測定問題と見なすことができ、そこでは、判断者やレーダによって、オブジェクトの潜伏特性が機器(例えばベンチマーク)のアイテムによって調査される。 標準評価のプラクティスは、結果に対する各コアコンポーネントのコントリビューションを無視することが多く、測定対象の理解を制限します。 ラシュ測度理論(RMT)はこの問題によく適している。 RMTは、順序格付けを共通のスケールで分離可能なファセットに分解する。 さらに、誤校正された測定とレーダバイアスを識別できる診断用バッテリーを提供する。 本稿では,RTT で構築した実測Hate Speech corpus を用いた LLM-as-rater パラダイムに適用した RMT のケーススタディを提案する。 私たちは、ファミリーと能力レベルにまたがる9つのLLMのアノテーションに、一連の多面的なRaschモデルを適用します。 分析の結果,LSMは重度,項目レベルの校正,質問順の堅牢性,目標識別感度,評価尺度の使用において,人間のレーダと体系的に異なることが判明した。 全体として、RTTはLLM-as-examinee、-judge、-raterのパラダイムを評価するためのツールキットに属すると論じる。

関連論文リスト

• Every Token Counts: Exact Likert-Scale Distributions for Measuring LLM Attitudes and Biases [0.0]
  大規模言語モデル(LLM)の制御行動評価のための分析的正確なフレームワークを提案する。 因果的主因果的および相互作用的効果を系統的に分離するために,非構造的プロンプトを完全クロスファクター実験に置き換える。 我々は、これらのPMFを解析的に処理するために、多変量順序のコンセンサスメトリックと分布ANOVAを導出する。 当社の枠組みは,5つのLDMを対象とした消費者倫理中心主義のケーススタディを用いて検証し,我々のアプローチが,ベンチマークを不明瞭に集約する全体的国家偏見をいかに分離するかを実証した。
  論文  参考訳（メタデータ） (2026-08-11T05:20:06Z)
• PRISM: A Multi-Dimensional Benchmark for Evaluating LLM Peer Reviewers [30.106132038073138]
  PRISMは,4次元にわたるレビュー品質を評価するベンチマークフレームワークである。 我々は、ICLR、ICML、NeurIPSの階層化されたレビューコーパスにおいて、主要な自動レビュアシステムと人間レビュアをベンチマークする。 単一のシステムは、すべての次元にわたる人間のベースラインのバランスの取れた性能を一度に一致させるものはない。
  論文  参考訳（メタデータ） (2026-05-26T09:06:27Z)
• Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
  大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。 要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
  論文  参考訳（メタデータ） (2026-02-07T19:39:28Z)
• Real-World Summarization: When Evaluation Reaches Its Limits [1.4197924572122094]
  従来のメトリクス、トレーニング可能なメソッド、LCM-as-a-judgeアプローチを比較します。 その結果、単語のような単純なメトリクスは、人間の判断と驚くほどよく重なることがわかった。 実世界のビジネスへの影響を分析すると、誤った情報やチェック不可能な情報が最大のリスクを生んでいることが分かる。
  論文  参考訳（メタデータ） (2025-07-15T17:23:56Z)
• Towards Understanding the Robustness of LLM-based Evaluations under Perturbations [9.944512689015998]
  大言語モデル(LLM)は、要約やダイアログベースのタスクにおいて、非標準化メトリクスの自動評価器として機能する。 人間の判断に比較して,LLMが品質評価指標としていかに優れているかを検討するために,複数のプロンプト戦略にまたがる実験を行った。
  論文  参考訳（メタデータ） (2024-12-12T13:31:58Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• Exploring the Reliability of Large Language Models as Customized Evaluators for Diverse NLP Tasks [65.69651759036535]
  大規模言語モデル(LLM)が人間にとって信頼できる代替手段であるかどうかを解析する。 本稿では、従来のタスク(例えば、ストーリー生成)とアライメントタスク(例えば、数学推論)の両方について検討する。 LLM評価器は不要な基準を生成したり、重要な基準を省略することができる。
  論文  参考訳（メタデータ） (2023-10-30T17:04:35Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。