論文の概要: Beyond Score Accuracy: Examining the Diagnostic Quality of LLM-Generated Structured Assessment in Higher Education

• arxiv url: http://arxiv.org/abs/2610.09460v1
• Date: Wed, 07 Oct 2026 05:17:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.731567
• Title: Beyond Score Accuracy: Examining the Diagnostic Quality of LLM-Generated Structured Assessment in Higher Education
• Title（参考訳）: スコアの精度を超えて:高等教育におけるLCM生成構造評価の診断的品質の検討
• Abstract要約: 大規模言語モデル(LLM)は、高等教育における自動階調とフィードバックにますます採用されている。 本研究は、これらのアウトプットが提供しているように見えるものを提供するかどうかを検討する。
• 参考スコア（独自算出の注目度）: 3.936959638336404
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Large Language Models (LLMs) are increasingly adopted for automated grading and feedback in higher education, their structured outputs, including multi-dimensional rubric scores, detailed feedback comments, and improvement suggestions, create an appearance of thorough analytic evaluation. This study examines whether these outputs deliver what they appear to offer. Using the JorGPT dataset of 3,041 student responses to 50 open-ended computer science questions, scored by both human instructors and three commercial LLMs, we identify three systematic discrepancies between the apparent and actual quality of LLM-generated grading and feedback. The sub-dimension scores are highly correlated (r = 0.82-0.99, VIF up to 45), providing redundant rather than independent diagnostic information. The textual feedback rarely detects student misconceptions (5-7% vs. 15-31% for teachers), functioning as a coverage checklist rather than a diagnostic instrument. The feedback tone remains uniformly positive regardless of response quality, lacking the severity modulation observed in human feedback. Additionally, grading accuracy varies significantly by knowledge domain, with procedural topics most reliable. These findings provide empirically grounded guidance on which aspects of LLM-generated grading and feedback can be relied upon and which require continued human oversight.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、高等教育における自動階調とフィードバックにますます採用されているため、多次元ルーブリックスコア、詳細なフィードバックコメント、改善提案を含む構造化されたアウトプットは、徹底的な解析的評価の外観を創出する。 本研究は、これらのアウトプットが提供しているように見えるものを提供するかどうかを検討する。 人間のインストラクターと商業LLMの双方が収集した50のオープンエンドコンピュータサイエンス質問に対する3,041人の学生回答のJorGPTデータセットを用いて,LLM生成の目に見える品質と実際の品質の3つの系統的相違点を同定した。 サブ次元スコアは高い相関(r = 0.82-0.99, VIF から 45)を持ち、独立した診断情報よりも冗長である。 テキストフィードバックは学生の誤解(5～7%対15～31%)をほとんど検出せず、診断装置ではなくカバレッジチェックリストとして機能する。 フィードバック音は応答品質に関わらず均一に正であり、人間のフィードバックで観察される重度変調が欠如している。 さらに、格付け精度は知識領域によって大きく異なり、手続き的なトピックが最も信頼性が高い。 これらの知見は、LLM生成のグレーディングとフィードバックのどの側面を頼りにするか、そして人間の監視を継続する必要があるかを実証的に基礎づけたガイダンスを提供する。

関連論文リスト

• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• Consistently Good vs. Occasionally Great: A Rubric for Open-Ended Feedback Quality from Humans and Machines [3.4020399898813145]
  イントロダクティブプログラミングにおけるオープンエンドの短解問題に対するフィードバックに焦点をあてる。 我々は,フィードバックの質を評価するために,教育文献を基盤とした5基準ルーブリックを開発した。
  論文  参考訳（メタデータ） (2026-08-22T08:48:53Z)
• When Metrics Disagree: Automatic Similarity vs. LLM-as-a-Judge for Clinical Dialogue Evaluation [18.338933046286257]
  大きな言語モデル(LLM)は、医学的なクエリを含む様々な問題に対処するために、ますます採用されている。 LLMは医学的文脈では性能が悪く、ユーザにとって有害な誤認につながる可能性がある。 本稿では,実際の患者-医師間相互作用の転写を用いたトランスフォーマーベースデコーダモデルであるLlama 2 7Bの微調整に焦点を当てた。
  論文  参考訳（メタデータ） (2026-02-27T21:09:43Z)
• Evaluating Large Language Models for Evidence-Based Clinical Question Answering [4.101088122511548]
  大規模言語モデル (LLMs) は, 医学的, 臨床的応用において著しく進歩している。 Cochraneの体系的レビューと臨床ガイドラインから得られたベンチマークをキュレートする。 我々はソースと臨床領域間で一貫したパフォーマンスパターンを観察する。
  論文  参考訳（メタデータ） (2025-09-13T15:03:34Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• MedAlign: A Clinician-Generated Dataset for Instruction Following with Electronic Medical Records [60.35217378132709]
  大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。 医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。 我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
  論文  参考訳（メタデータ） (2023-08-27T12:24:39Z)
• Style Over Substance: Evaluation Biases for Large Language Models [17.13064447978519]
  本研究では,大規模言語モデル(LLM)とともに,クラウドソースおよびエキスパートアノテータの挙動について検討する。 この結果から, 事実的誤りに対する回答は, 短すぎる, 文法的誤りを含む回答よりも好意的に評価され, 評価過程の偏りが示唆された。 評価面を1つのスコアにマージするのではなく,複数の次元にまたがるマシン生成テキストを独立に評価することを提案する。
  論文  参考訳（メタデータ） (2023-07-06T14:42:01Z)
• Human Evaluation and Correlation with Automatic Metrics in Consultation Note Generation [56.25869366777579]
  近年,機械学習モデルによる臨床相談ノートの作成が急速に進んでいる。 5人の臨床医が57件のモック・コンサルテーションを聴き、自作のノートを書き、自動的に生成されたノートを編集し、全てのエラーを抽出する、広範囲にわたる人的評価研究を行った。 単純な文字ベースのLevenshtein距離測定は、BertScoreのような一般的なモデルベースの測定値に比較して、同等に動作します。
  論文  参考訳（メタデータ） (2022-04-01T14:04:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。