論文の概要: Estimating LLM Grading Ability and Response Difficulty in Automatic Short Answer Grading via Item Response Theory

• arxiv url: http://arxiv.org/abs/2605.00238v1
• Date: Thu, 30 Apr 2026 21:16:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:28.758605
• Title: Estimating LLM Grading Ability and Response Difficulty in Automatic Short Answer Grading via Item Response Theory
• Title（参考訳）: 項目応答理論による自動短解像におけるLLMグレーディング能力と応答困難度の推定
• Authors: Longwei Cong, Sonja Hahn, Sebastian Gombert, Leon Camus, Hendrik Drachsler, Ulf Kroehne,
• Abstract要約: 項目応答理論(IRT)に基づくLCMに基づくASAG評価フレームワークを提案する。 IRTモデルは、遅延グレーダ能力と応答グレーダの難しさの関数として正しさを格付けする。 その結果, 性能が類似したモデルであっても, 応答困難が増大するにつれて, グルーピング精度が著しく低下することが明らかとなった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated short answer grading (ASAG) with large language models (LLMs) is commonly evaluated with aggregate metrics such as macro-F1 and Cohen's kappa. However, these metrics provide limited insight into how grading performance varies across student responses of differing grading difficulty. We introduce an evaluation framework for LLM-based ASAG based on item response theory (IRT), which models grading correctness as a function of latent grader ability and response grading difficulty. This formulation enables response-level analysis of where LLM graders succeed or fail and reveals robustness differences that are not visible from aggregate scores alone. We apply the framework to 17 open-weight LLMs on the SciEntsBank and Beetle benchmarks. The results show that even models with similar overall performance differ substantially in how sharply their grading accuracy declines as response difficulty increases. In addition, confusion patterns show that errors on difficult responses concentrate disproportionately on the \texttt{partially\_correct\_incomplete} label, indicating a tendency toward intermediate-label collapse under ambiguity. To characterize difficult responses, we further analyze semantic and linguistic correlates of estimated difficulty. Across both datasets, higher difficulty is associated with weaker semantic alignment to the reference answer, stronger contradiction signals, and greater semantic isolation in embedding space. Overall, these results show that item response theory offers a useful framework for evaluating LLM-based ASAG beyond aggregate performance measures.
• Abstract（参考訳）: マクロF1 や Cohen の kappa などの集計指標を用いて, 大規模言語モデル (LLM) を用いた自動短解階調 (ASAG) の評価が一般的である。 しかし、これらの指標は、成績の違いが生徒の反応にどう影響するかについて、限られた洞察を与えてくれる。 本稿では,項目応答理論(IRT)に基づくLCMに基づくASAG評価フレームワークを提案する。 この定式化により、LLMグレーダが成功するか失敗するかの応答レベル解析が可能となり、集計スコアだけでは見えないロバスト性の違いが明らかになる。 このフレームワークをSciEntsBankとBeetleベンチマークで17のオープンウェイトLCMに適用する。 その結果, 性能が類似したモデルであっても, 応答困難が増大するにつれて, グルーピング精度が著しく低下することが明らかとなった。 さらに, 混乱パターンは, 難解な応答の誤差が, あいまいさ下での中間ラベル崩壊傾向を示すようなラベルに不均等に集中していることを示す。 難解な応答を特徴付けるために、推定困難度に関する意味的および言語的相関を更に分析する。 両方のデータセット全体で、より高い難易度は、参照応答に対するより弱いセマンティックアライメント、強い矛盾信号、埋め込み空間におけるより大きなセマンティックアイソレーションと関連付けられている。 これらの結果から, 項目応答理論は, 総合的な性能評価を超越した, LLMに基づくASAGの評価に有用なフレームワークを提供することが示された。

関連論文リスト

• Same Meaning, Different Scores: Lexical and Syntactic Sensitivity in LLM Evaluation [40.210132040677]
  本稿では,23の現代大言語モデル(LLM)の絶対的性能と相対的ランク付けが,制御的,真に等価な語彙的および構文的摂動に与える影響について検討する。 その結果、語彙的摂動は、ほぼすべてのモデルやタスクに対して、実質的、統計的に有意な性能劣化を誘導する一方、構文的摂動はより異質な効果を持ち、時には結果を改善することが示されている。
  論文  参考訳（メタデータ） (2026-02-19T12:24:42Z)
• RankLLM: Weighted Ranking of LLMs by Quantifying Question Difficulty [102.02839046225468]
  RankLLMは質問の難しさとモデルの能力の両方を定量化する新しいフレームワークである。 複数のドメインにまたがる35,550の質問に対して30のモデルを評価する。
  論文  参考訳（メタデータ） (2026-02-12T21:28:46Z)
• Feedback Indices to Evaluate LLM Responses to Rebuttals for Multiple Choice Type Questions [0.0]
  本稿では,チャット中の反論に挑戦する場合に,Large Language Model (LLM) 応答を特徴付けるフレームワークを提案する。 提案手法は,複数質問を提示した場合のLCMの挙動を定量的に評価する,架空の応答応答法を用いている。 指標は特に、サイコファンティックな行動として特徴づけられるものを検知し、測定するために設計されている。
  論文  参考訳（メタデータ） (2026-01-02T21:16:43Z)
• From Harm to Help: Turning Reasoning In-Context Demos into Assets for Reasoning LMs [58.02809208460186]
  デモとしてDeepSeek-R1の高品質なトレースを使って、このパラドックスを再検討する。 デモが最適であっても、より多くの例を加えることで、常に精度が低下することがわかった。 デモを明示的で再利用可能な洞察に変換するシーケンシャルなテストタイム手順であるInsight-to-solve(I2S)を紹介します。
  論文  参考訳（メタデータ） (2025-09-27T08:59:31Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• Right Answer, Wrong Score: Uncovering the Inconsistencies of LLM Evaluation in Multiple-Choice Question Answering [78.89231943329885]
  大規模言語モデル(LLM)の評価には,MCQA(Multiple-Choice Question Answering)が広く用いられている。 報告されたLCMの性能には,複数の要因が大きな影響を及ぼす可能性が示唆された。 既存の回答抽出手法が人間の判断と一致しているかどうかを解析する。
  論文  参考訳（メタデータ） (2025-03-19T08:45:03Z)
• GAOKAO-Eval: Does high scores truly reflect strong capabilities in LLMs? [32.972545797220924]
  大規模言語モデル(LLM)は人為的なベンチマークを用いて一般的に評価される。 GAokaO-Evalは、ハイスコアが人間の手動能力を本当に反映していないことを明らかにした。
  論文  参考訳（メタデータ） (2024-12-13T11:38:10Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Emphasising Structured Information: Integrating Abstract Meaning Representation into LLMs for Enhanced Open-Domain Dialogue Evaluation [31.633351104278194]
  本フレームワークは,意味表現学習の強化を目的としたゲーティング機構を通じて,AMRグラフ情報を統合する。 本フレームワークは,複数のデータセットにまたがる人間の判断と強い相関関係を達成し,対話評価のための新たなベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-04-01T14:11:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。