論文の概要: Towards Scalable Automated Grading: Leveraging Large Language Models for Conceptual Question Evaluation in Engineering

• arxiv url: http://arxiv.org/abs/2411.03659v1
• Date: Wed, 06 Nov 2024 04:41:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:24:09.702142
• Title: Towards Scalable Automated Grading: Leveraging Large Language Models for Conceptual Question Evaluation in Engineering
• Title（参考訳）: スケーラブルな自動グラフ作成に向けて - エンジニアリングにおける概念的質問評価のための大規模言語モデルを活用する
• Authors: Rujun Gao, Xiaosu Guo, Xiaodi Li, Arun Balajiee Lekshmi Narayanan, Naveen Thomas, Arun R. Srinivasa,
• Abstract要約: 本研究では,大言語モデル(LLM)を用いた概念質問の自動評価の実現可能性について検討する。 テキサスA&M大学における MEEN 361 コースの10クイズ問題に対して GPT-4o の成績を比較した。 解析の結果, GPT-4o は評価基準が単純だが, ニュアンス解答に苦慮していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 5.160473221022088
• License:
• Abstract: This study explores the feasibility of using large language models (LLMs), specifically GPT-4o (ChatGPT), for automated grading of conceptual questions in an undergraduate Mechanical Engineering course. We compared the grading performance of GPT-4o with that of human teaching assistants (TAs) on ten quiz problems from the MEEN 361 course at Texas A&M University, each answered by approximately 225 students. Both the LLM and TAs followed the same instructor-provided rubric to ensure grading consistency. We evaluated performance using Spearman's rank correlation coefficient and Root Mean Square Error (RMSE) to assess the alignment between rankings and the accuracy of scores assigned by GPT-4o and TAs under zero- and few-shot grading settings. In the zero-shot setting, GPT-4o demonstrated a strong correlation with TA grading, with Spearman's rank correlation coefficient exceeding 0.6 in seven out of ten datasets and reaching a high of 0.9387. Our analysis reveals that GPT-4o performs well when grading criteria are straightforward but struggles with nuanced answers, particularly those involving synonyms not present in the rubric. The model also tends to grade more stringently in ambiguous cases compared to human TAs. Overall, ChatGPT shows promise as a tool for grading conceptual questions, offering scalability and consistency.
• Abstract（参考訳）: 本研究は,大規模言語モデル(LLM),特にGPT-4o(ChatGPT)を用いて,学部機械工学科における概念的問題の自動評価の実現可能性について検討する。 テキサスA&M大学における MEEN 361 コースの10クイズ問題に対する GPT-4o の成績を, 約225名の学生を対象に比較した。 LLMとTAはどちらも、グルーピングの整合性を確保するため、インストラクターが提案したルーリックを踏襲した。 スピアマンのランク相関係数とルート平均角誤差 (RMSE) を用いて, GPT-4o と TA に割り当てられたスコアのアライメントとスコアの精度を評価する。 ゼロショット設定では、GPT-4oはTAグレーディングと強い相関を示し、スピアマンのランク相関係数は10つのデータセットのうち7つ中0.6以上、最高0.9387に達した。 解析の結果,GPT-4oは格付け基準が単純だがニュアンスな回答に苦慮していることが明らかとなった。 モデルはまた、ヒトのTAと比較して曖昧なケースではより厳格にグレードする傾向にある。 全体として、ChatGPTは、スケーラビリティと一貫性を提供する、概念的な質問をグレードするツールとして、Promiseを示している。

関連論文リスト

• Assessing instructor-AI cooperation for grading essay-type questions in an introductory sociology course [0.0]
  生成前学習型トランスフォーマー(GPT)モデルの性能評価を行った。 グレードリングでは,GPTがヒトのグレードラースコアと強い相関を示し,特にテンプレート回答が提供された。 この研究は、教育におけるAIに関する文献の増大に寄与し、エッセイ型質問の質と効率を高める可能性を示す。
  論文  参考訳（メタデータ） (2025-01-11T07:18:12Z)
• A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look [52.114284476700874]
  本稿では,4つの異なる関連性評価手法が展開された大規模評価(TREC 2024 RAG Track)の結果について報告する。 自動生成UMBRELA判定は、完全に手動による判断を置き換えて、実行レベルの有効性を正確に捉えることができる。 意外なことに、LLMアシストは完全な手作業による評価と相関を増さないようで、人間のループプロセスに関連するコストは明らかな有意義な利益をもたらすものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-11-13T01:12:35Z)
• Evaluating GPT-4 at Grading Handwritten Solutions in Math Exams [48.99818550820575]
  我々は、最先端のマルチモーダルAIモデル、特にGPT-4oを利用して、大学レベルの数学試験に対する手書きの応答を自動的に評価する。 確率論試験における質問に対する実際の学生の反応を用いて, GPT-4oのスコアと, 様々なプロンプト技術を用いて, 人間の学級のスコアとの整合性を評価する。
  論文  参考訳（メタデータ） (2024-11-07T22:51:47Z)
• A comparison of Human, GPT-3.5, and GPT-4 Performance in a University-Level Coding Course [0.0]
  そこで本研究では,学習者のみに対するChatGPT変種であるGPT-3.5とGPT-4の性能評価を行った。 学生の平均は91.9%(SE:0.4)で、AI応募の最高水準、即興エンジニアリングのGPT-4を上回り、81.1%(SE:0.8)と統計的に有意な差(p = 2.482×10-10$)を示した。 盲目マーカーは、Definitely の 4-point Likert スケールで、提出書の著者を推測する作業であった。
  論文  参考訳（メタデータ） (2024-03-25T17:41:02Z)
• Applying Large Language Models and Chain-of-Thought for Automatic Scoring [23.076596289069506]
  本研究では,大規模言語モデル(LLM)の学生による科学評価に対する応答の自動評価への適用について検討した。 我々は、これまで人工知能ベースの自動スコアリングツールの使用を制限していたアクセシビリティ、技術的複雑さ、説明可能性の欠如といった課題を克服することに注力した。
  論文  参考訳（メタデータ） (2023-11-30T21:22:43Z)
• Prometheus: Inducing Fine-grained Evaluation Capability in Language Models [66.12432440863816]
  我々は,GPT-4の評価能力に匹敵する,完全にオープンソースなLarge Language Model (LLM) であるPrometheusを提案する。 プロメテウスは45種類の楽譜を用いた評価において、Pearsonの0.897の相関を人間の評価値と比較した。 Prometheusは2つの人間の選好ベンチマークで最も精度が高い。
  論文  参考訳（メタデータ） (2023-10-12T16:50:08Z)
• Split and Merge: Aligning Position Biases in LLM-based Evaluators [22.265542509143756]
  PortIAは、人間の比較戦略を模倣して位置バイアスを校正するアライメントベースのシステムである。 その結果, Portia はテスト対象のモデルと比較形態の整合性を著しく向上させることがわかった。 GPT-4モデルにおける位置バイアスの約80%を修正し、一貫性を98%まで高める。
  論文  参考訳（メタデータ） (2023-09-29T14:38:58Z)
• Is GPT-4 a reliable rater? Evaluating Consistency in GPT-4 Text Ratings [63.35165397320137]
  本研究では,OpenAI の GPT-4 によるフィードバック評価の整合性について検討した。 このモデルは、マクロ経済学の上級教育分野における課題に対する回答を、内容とスタイルの観点から評価した。
  論文  参考訳（メタデータ） (2023-08-03T12:47:17Z)
• ARB: Advanced Reasoning Benchmark for Large Language Models [94.37521840642141]
  複数の分野における先進的推論問題からなる新しいベンチマークであるABBを紹介する。 ARBのサブセットとして、高度なシンボリック推論とドメイン知識を必要とする数学と物理学の問題を紹介する。 我々は, GPT-4 や Claude on ARB などの最近のモデルを評価し, より要求の高いタスクにおいて, 現在のモデルが50%以下であることを示す。
  論文  参考訳（メタデータ） (2023-07-25T17:55:19Z)
• Progressive-Hint Prompting Improves Reasoning in Large Language Models [63.98629132836499]
  本稿では,プログレッシブ・ヒント・プロンプト(PHP)と呼ばれる新しいプロンプト手法を提案する。 事前に生成された回答をヒントとして使用することで、ユーザとLLM(Large Language Models)間の自動多元的対話を可能にする。 我々は7つのベンチマークで広範囲かつ包括的な実験を行った。その結果、PHPは高い効率を保ちながら精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-04-19T16:29:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。