論文の概要: Designing Reliable LLM-Assisted Rubric Scoring for Constructed Responses: Evidence from Physics Exams

• arxiv url: http://arxiv.org/abs/2604.12227v1
• Date: Tue, 14 Apr 2026 03:04:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.209661
• Title: Designing Reliable LLM-Assisted Rubric Scoring for Constructed Responses: Evidence from Physics Exams
• Title（参考訳）: 信頼性LLM型潤滑スコーリングによる構成応答設計:物理実験からの証拠
• Abstract要約: STEMアセスメントにおける学生の反応は手書きで、記号表現、計算、図表を組み合わせたものが多い。 大規模言語モデル(LLM)の最近の進歩は、AIによるスコアリングに注意を向けている。 本研究は, GPT-4o を用いた学部理科構築応答のAI支援スコアリングの信頼性について検討した。
• 参考スコア（独自算出の注目度）: 1.6955250288861923
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Student responses in STEM assessments are often handwritten and combine symbolic expressions, calculations, and diagrams, creating substantial variation in format and interpretation. Despite their importance for evaluating students' reasoning, such responses are time-consuming to score and prone to rater inconsistency, particularly when partial credit is required. Recent advances in large language models (LLMs) have increased attention to AI-assisted scoring, yet evidence remains limited regarding how rubric design and LLM configurations influence reliability across performance levels. This study examined the reliability of AI-assisted scoring of undergraduate physics constructed responses using GPT-4o. Twenty authentic handwritten exam responses were scored across two rounds by four instructors and by the AI model using skill-based rubrics with differing levels of analytic granularity. Prompting format and temperature settings were systematically varied. Overall, human-AI agreement on total scores was comparable to human inter-rater reliability and was highest for high- and low-performing responses, but declined for mid-level responses involving partial or ambiguous reasoning. Criterion-level analyses showed stronger alignment for clearly defined conceptual skills than for extended procedural judgments. A more fine-grained, checklist-based rubric improved consistency relative to holistic scoring. These findings indicate that reliable AI-assisted scoring depends primarily on clear, well-structured rubrics, while prompting format plays a secondary role and temperature has relatively limited impact. More broadly, the study provides transferable design recommendations for implementing reliable LLM-assisted scoring in STEM contexts through skill-based rubrics and controlled LLM settings.
• Abstract（参考訳）: STEMアセスメントにおける学生の反応は、しばしば手書きで、記号表現、計算、図形を組み合わせて、形式と解釈のかなりのバリエーションを生み出す。 学生の推論を評価することの重要性にもかかわらず、これらの反応は得点に時間がかかり、特に部分クレジットが必要な場合、レーダの不整合が生じる。 大規模言語モデル(LLM)の最近の進歩は、AIによるスコアリングに注意を向けている。 本研究は, GPT-4o を用いた学部理科構築応答のAI支援スコアリングの信頼性について検討した。 4人のインストラクターと、分析粒度の異なるスキルベースルーブリックを用いたAIモデルにより、2ラウンドで20件の真筆試験結果が得られた。 プロンプティング形式と温度設定は体系的に変化した。 総得点に対する人間とAIの合意は、人間の信頼性に匹敵するものであり、高いパフォーマンスと低パフォーマンスの反応では最も高かったが、部分的または曖昧な推論を含む中程度の反応では下がった。 基準レベルの分析では, 明らかに定義された概念的スキルに対して, 手続き的判断の延長よりも強いアライメントを示した。 よりきめ細かいチェックリストベースのルーブリックは、総合的なスコアに対する一貫性を改善した。 これらの結果は、信頼性の高いAI支援スコアリングは、主に明瞭で構造の良いルーリックに依存し、プロンプト形式は二次的な役割を担い、温度は比較的制限されていることを示唆している。 より広範に、この研究は、スキルベースルーブリックと制御されたLLM設定を通して、STEMコンテキストにおける信頼性の高いLLM支援スコアリングを実装するためのトランスファー可能な設計勧告を提供する。

関連論文リスト

• Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
  私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。 本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。 提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
  論文  参考訳（メタデータ） (2026-04-21T14:21:15Z)
• From Scoring to Explanations: Evaluating SHAP and LLM Rationales for Rubric-based Teaching Quality Assessment [12.134587575174633]
  本稿では,ルーブリックに基づくスコアリングの文レベルの解釈可能性に関する一般的な枠組みを提案する。 以上の結果から,SHAPはルーブリックに基づくスコアリングに対して,より忠実で伝達可能な説明を提供する。
  論文  参考訳（メタデータ） (2026-04-18T14:27:51Z)
• Measuring What Matters -- or What's Convenient?: Robustness of LLM-Based Scoring Systems to Construct-Irrelevant Factors [0.0]
  本研究では, 2重構造LPMに基づくスコアリングシステムにおける構成非関連因子の影響について検討する。 スコアリングシステムは,無意味な文章で回答をパディングし,スペルの誤りを指摘し,難解な文章を書けるのが一般的であった。
  論文  参考訳（メタデータ） (2026-03-26T17:29:20Z)
• Evaluating AI Grading on Real-World Handwritten College Mathematics: A Large-Scale Study Toward a Benchmark [9.922581736690159]
  カリフォルニア大学アーバイン校(UC Irvine)の実際の手書き電卓におけるAIのグルーピングに関する大規模な実証的研究について述べる。 OCR条件付き大規模言語モデルを用いて, 何千もの応答型クイズ入力に対して, スコアと形式的フィードバックを生成する。 本研究は,1つの基礎的ラベルを持たない環境下で,公的な指導助成学級,学生調査,独立人レビューに対する評価を行った。
  論文  参考訳（メタデータ） (2026-03-01T03:32:51Z)
• Beyond Holistic Scores: Automatic Trait-Based Quality Scoring of Argumentative Essays [15.895792302323883]
  教育の文脈では、教師と学習者は解釈可能な特性レベルのフィードバックを必要とする。 本稿では,2つの相補的モデリングパラダイムを用いた特徴量に基づく自動弁別評価手法について検討する。 スコア・オーディナリティを明示的にモデル化することは、人間のレーダとの合意を著しく改善することを示します。
  論文  参考訳（メタデータ） (2026-02-04T14:30:52Z)
• Rubric-Conditioned LLM Grading: Alignment, Uncertainty, and Robustness [4.129847064263056]
  ルーブリックをベースとした短問合せ学習における大規模言語モデルの性能を体系的に評価する。 二つのタスクに対してアライメントは強いが、粗い粒度が増すにつれて劣化する。 実験により、モデルが注射に抵抗性がある一方で、同義置換に敏感であることが判明した。
  論文  参考訳（メタデータ） (2025-12-21T05:22:04Z)
• Curse of Knowledge: When Complex Evaluation Context Benefits yet Biases LLM Judges [72.3356133063925]
  審査員としての大規模言語モデル(LLM)のパラダイムはスケーラブルなソリューションとして登場したが、以前の作業は主に単純な設定に焦点を当てていた。 我々の詳細な分析は、評価信号の精度と妥当性を向上させるための重要な洞察を提供する。
  論文  参考訳（メタデータ） (2025-09-03T15:48:33Z)
• RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
  RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。 提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。 実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
  論文  参考訳（メタデータ） (2025-05-28T14:55:33Z)
• Learning to Align Multi-Faceted Evaluation: A Unified and Robust Framework [61.38174427966444]
  大規模言語モデル(LLM)は、様々なシナリオにおける自動評価のために、より広く使われている。 従来の研究では、強力なプロプライエタリモデルの評価と判断を再現するために、オープンソースのLLMを微調整しようと試みてきた。 本稿では,評価基準を適応的に定式化し,テキストベースとコード駆動分析の両方を合成する新しい評価フレームワークARJudgeを提案する。
  論文  参考訳（メタデータ） (2025-02-26T06:31:45Z)
• StructTest: Benchmarking LLMs' Reasoning through Compositional Structured Outputs [78.84060166851805]
  StructTestは、大規模な言語モデル(LLM)を合成命令に従って構造化出力を生成する能力に基づいて評価する、新しいベンチマークである。 評価はルールベースの評価器を用いて決定的に行われ、新しいタスクやデータセットに容易に拡張できる。 StructTestは、Deepseek-V3/R1やGPT-4oといったトップパフォーマンスモデルでも、依然として難しいままです。
  論文  参考訳（メタデータ） (2024-12-23T22:08:40Z)
• AI-generated Essays: Characteristics and Implications on Automated Scoring and Academic Integrity [13.371946973050845]
  我々は、人気のある大言語モデル(LLM)によって生成されるエッセイの特徴と品質を検証し、ベンチマークする。 本研究は,既存の自動スコアリングシステムの限界を強調し,改善すべき領域を特定した。 LLMの多種多様さがAI生成エッセイの検出の可能性を損なう可能性があるという懸念にもかかわらず、我々の研究結果は、あるモデルから生成されたエッセイに基づいて訓練された検出器が、高い精度で他人のテキストを識別できることをしばしば示している。
  論文  参考訳（メタデータ） (2024-10-22T21:30:58Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。