論文の概要: Towards Scalable Automated Grading: Leveraging Large Language Models for Conceptual Question Evaluation in Engineering

• arxiv url: http://arxiv.org/abs/2411.03659v1
• Date: Wed, 06 Nov 2024 04:41:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:24:09.702142
• Title: Towards Scalable Automated Grading: Leveraging Large Language Models for Conceptual Question Evaluation in Engineering
• Title（参考訳）: スケーラブルな自動グラフ作成に向けて - エンジニアリングにおける概念的質問評価のための大規模言語モデルを活用する
• Authors: Rujun Gao, Xiaosu Guo, Xiaodi Li, Arun Balajiee Lekshmi Narayanan, Naveen Thomas, Arun R. Srinivasa,
• Abstract要約: 本研究では,大言語モデル(LLM)を用いた概念質問の自動評価の実現可能性について検討する。 テキサスA&M大学における MEEN 361 コースの10クイズ問題に対して GPT-4o の成績を比較した。 解析の結果, GPT-4o は評価基準が単純だが, ニュアンス解答に苦慮していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 5.160473221022088
• License:
• Abstract: This study explores the feasibility of using large language models (LLMs), specifically GPT-4o (ChatGPT), for automated grading of conceptual questions in an undergraduate Mechanical Engineering course. We compared the grading performance of GPT-4o with that of human teaching assistants (TAs) on ten quiz problems from the MEEN 361 course at Texas A&M University, each answered by approximately 225 students. Both the LLM and TAs followed the same instructor-provided rubric to ensure grading consistency. We evaluated performance using Spearman's rank correlation coefficient and Root Mean Square Error (RMSE) to assess the alignment between rankings and the accuracy of scores assigned by GPT-4o and TAs under zero- and few-shot grading settings. In the zero-shot setting, GPT-4o demonstrated a strong correlation with TA grading, with Spearman's rank correlation coefficient exceeding 0.6 in seven out of ten datasets and reaching a high of 0.9387. Our analysis reveals that GPT-4o performs well when grading criteria are straightforward but struggles with nuanced answers, particularly those involving synonyms not present in the rubric. The model also tends to grade more stringently in ambiguous cases compared to human TAs. Overall, ChatGPT shows promise as a tool for grading conceptual questions, offering scalability and consistency.
• Abstract（参考訳）: 本研究は,大規模言語モデル(LLM),特にGPT-4o(ChatGPT)を用いて,学部機械工学科における概念的問題の自動評価の実現可能性について検討する。 テキサスA&M大学における MEEN 361 コースの10クイズ問題に対する GPT-4o の成績を, 約225名の学生を対象に比較した。 LLMとTAはどちらも、グルーピングの整合性を確保するため、インストラクターが提案したルーリックを踏襲した。 スピアマンのランク相関係数とルート平均角誤差 (RMSE) を用いて, GPT-4o と TA に割り当てられたスコアのアライメントとスコアの精度を評価する。 ゼロショット設定では、GPT-4oはTAグレーディングと強い相関を示し、スピアマンのランク相関係数は10つのデータセットのうち7つ中0.6以上、最高0.9387に達した。 解析の結果,GPT-4oは格付け基準が単純だがニュアンスな回答に苦慮していることが明らかとなった。 モデルはまた、ヒトのTAと比較して曖昧なケースではより厳格にグレードする傾向にある。 全体として、ChatGPTは、スケーラビリティと一貫性を提供する、概念的な質問をグレードするツールとして、Promiseを示している。

関連論文リスト

• A comparison of Human, GPT-3.5, and GPT-4 Performance in a University-Level Coding Course [0.0]
  そこで本研究では,学習者のみに対するChatGPT変種であるGPT-3.5とGPT-4の性能評価を行った。 学生の平均は91.9%(SE:0.4)で、AI応募の最高水準、即興エンジニアリングのGPT-4を上回り、81.1%(SE:0.8)と統計的に有意な差(p = 2.482×10-10$)を示した。 盲目マーカーは、Definitely の 4-point Likert スケールで、提出書の著者を推測する作業であった。
  論文  参考訳（メタデータ） (2024-03-25T17:41:02Z)
• Applying Large Language Models and Chain-of-Thought for Automatic Scoring [23.076596289069506]
  本研究では,大規模言語モデル(LLM)の学生による科学評価に対する応答の自動評価への適用について検討した。 我々は、これまで人工知能ベースの自動スコアリングツールの使用を制限していたアクセシビリティ、技術的複雑さ、説明可能性の欠如といった課題を克服することに注力した。
  論文  参考訳（メタデータ） (2023-11-30T21:22:43Z)
• CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
  Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。 CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
  論文  参考訳（メタデータ） (2023-11-30T16:52:42Z)
• Prometheus: Inducing Fine-grained Evaluation Capability in Language Models [66.12432440863816]
  我々は,GPT-4の評価能力に匹敵する,完全にオープンソースなLarge Language Model (LLM) であるPrometheusを提案する。 プロメテウスは45種類の楽譜を用いた評価において、Pearsonの0.897の相関を人間の評価値と比較した。 Prometheusは2つの人間の選好ベンチマークで最も精度が高い。
  論文  参考訳（メタデータ） (2023-10-12T16:50:08Z)
• Split and Merge: Aligning Position Biases in Large Language Model based Evaluators [23.38206418382832]
  PortIAは、人間の比較戦略を模倣して位置バイアスを校正するアライメントベースのシステムである。 その結果, Portia はテスト対象のモデルと比較形態の整合性を著しく向上させることがわかった。 GPT-4モデルにおける位置バイアスの約80%を修正し、一貫性を98%まで高める。
  論文  参考訳（メタデータ） (2023-09-29T14:38:58Z)
• Is GPT-4 a reliable rater? Evaluating Consistency in GPT-4 Text Ratings [63.35165397320137]
  本研究では,OpenAI の GPT-4 によるフィードバック評価の整合性について検討した。 このモデルは、マクロ経済学の上級教育分野における課題に対する回答を、内容とスタイルの観点から評価した。
  論文  参考訳（メタデータ） (2023-08-03T12:47:17Z)
• ARB: Advanced Reasoning Benchmark for Large Language Models [94.37521840642141]
  複数の分野における先進的推論問題からなる新しいベンチマークであるABBを紹介する。 ARBのサブセットとして、高度なシンボリック推論とドメイン知識を必要とする数学と物理学の問題を紹介する。 我々は, GPT-4 や Claude on ARB などの最近のモデルを評価し, より要求の高いタスクにおいて, 現在のモデルが50%以下であることを示す。
  論文  参考訳（メタデータ） (2023-07-25T17:55:19Z)
• Progressive-Hint Prompting Improves Reasoning in Large Language Models [63.98629132836499]
  本稿では,プログレッシブ・ヒント・プロンプト(PHP)と呼ばれる新しいプロンプト手法を提案する。 事前に生成された回答をヒントとして使用することで、ユーザとLLM(Large Language Models)間の自動多元的対話を可能にする。 我々は7つのベンチマークで広範囲かつ包括的な実験を行った。その結果、PHPは高い効率を保ちながら精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-04-19T16:29:48Z)
• Faithful Chain-of-Thought Reasoning [51.21714389639417]
  CoT(Chain-of-Thought)は言語モデル(LM)のパフォーマンスを様々な推論タスクで向上させる。 翻訳と問題解決という2つの段階を含む推論フレームワークであるFithful CoTを提案する。 このことは、推論連鎖が最終回答の忠実な説明を提供することを保証している。
  論文  参考訳（メタデータ） (2023-01-31T03:04:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。