論文の概要: Evaluating GPT-4 at Grading Handwritten Solutions in Math Exams

• arxiv url: http://arxiv.org/abs/2411.05231v1
• Date: Thu, 07 Nov 2024 22:51:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:56:12.532746
• Title: Evaluating GPT-4 at Grading Handwritten Solutions in Math Exams
• Title（参考訳）: 数学実験における手書き解におけるGPT-4の評価
• Authors: Adriana Caraeni, Alexander Scarlatos, Andrew Lan,
• Abstract要約: 我々は、最先端のマルチモーダルAIモデル、特にGPT-4oを利用して、大学レベルの数学試験に対する手書きの応答を自動的に評価する。 確率論試験における質問に対する実際の学生の反応を用いて, GPT-4oのスコアと, 様々なプロンプト技術を用いて, 人間の学級のスコアとの整合性を評価する。
• 参考スコア（独自算出の注目度）: 48.99818550820575
• License:
• Abstract: Recent advances in generative artificial intelligence (AI) have shown promise in accurately grading open-ended student responses. However, few prior works have explored grading handwritten responses due to a lack of data and the challenge of combining visual and textual information. In this work, we leverage state-of-the-art multi-modal AI models, in particular GPT-4o, to automatically grade handwritten responses to college-level math exams. Using real student responses to questions in a probability theory exam, we evaluate GPT-4o's alignment with ground-truth scores from human graders using various prompting techniques. We find that while providing rubrics improves alignment, the model's overall accuracy is still too low for real-world settings, showing there is significant room for growth in this task.
• Abstract（参考訳）: 生成人工知能(AI)の最近の進歩は、オープンエンドの学生の反応を正確に評価することを約束している。 しかし、データの欠如と視覚情報とテキスト情報を組み合わせることの難しさから、手書き応答の段階的向上を探求する先行研究はほとんどない。 本研究では、最先端のマルチモーダルAIモデル、特にGPT-4oを利用して、大学レベルの数学試験に対する手書き応答を自動的に評価する。 確率論試験における質問に対する実際の学生の反応を用いて, GPT-4oのスコアと, 様々なプロンプト技術を用いて, 人間の学級のスコアとの整合性を評価する。 ルーブリックを提供することでアライメントが向上する一方で、モデル全体の精度は実際の設定では低すぎるため、このタスクには大きな成長の余地があることが分かりました。

関連論文リスト

• Can AI Assistance Aid in the Grading of Handwritten Answer Sheets? [2.025468874117372]
  この作業では、AI支援のグレーティングパイプラインが導入されている。 パイプラインはまずテキスト検出を使用して、質問紙PDFに存在する質問領域を自動的に検出する。 次に、SOTAテキスト検出法を用いて、スキャンされた回答シートの手書き回答領域に存在する重要なキーワードをハイライトし、評価プロセスを支援する。
  論文  参考訳（メタデータ） (2024-08-23T07:00:25Z)
• GPT4Vis: What Can GPT-4 Do for Zero-shot Visual Recognition? [82.40761196684524]
  本稿では,ゼロショット視覚認識タスクにおけるGPT-4の言語的・視覚的能力の評価に焦点を当てる。 我々は、画像、ビデオ、点群にわたるGPT-4の性能を評価するための広範な実験を行った。 言語記述が充実したGPT-4はゼロショット認識を著しく改善した。
  論文  参考訳（メタデータ） (2023-11-27T11:29:10Z)
• NERIF: GPT-4V for Automatic Scoring of Drawn Models [0.6278186810520364]
  最近リリースされたGPT-4Vは、科学的モデリングの実践を前進させるユニークな機会を提供する。 我々は,GPT-4Vに学生の描画モデルを評価するための指導音とルーブリックを用いた手法を開発した。 GPT-4Vのスコアを人間の専門家のスコアと比較し、スコアの精度を計算した。
  論文  参考訳（メタデータ） (2023-11-21T20:52:04Z)
• GPT-4V(ision) as a Generalist Evaluator for Vision-Language Tasks [70.98062518872999]
  我々は,GPT-4Vの性能評価,基本画像からテキストへの合成,高レベル画像から画像への変換,複数画像からテキストへのアライメントといったタスクに対処する能力を検証する。 特に、GPT-4Vは、様々なタスクや評価方法にまたがって人間と有望な合意を示し、マルチモーダルLCMを評価対象として持つ可能性を示している。
  論文  参考訳（メタデータ） (2023-11-02T16:11:09Z)
• Using GPT-4 to Augment Unbalanced Data for Automatic Scoring [0.5586073503694489]
  生成型大規模言語モデルである GPT-4 を利用した新しいテキストデータ拡張フレームワークを提案する。 我々は GPT-4 で応答を生成するプロンプトを作成した。 拡張データセットとオリジナルデータセットに基づいて自動スコアリングのためにDistillBERTを微調整した。
  論文  参考訳（メタデータ） (2023-10-25T01:07:50Z)
• Prompt Engineering or Fine Tuning: An Empirical Assessment of Large Language Models in Automated Software Engineering Tasks [8.223311621898983]
  対話型プロンプトを持つ GPT-4 は, 自動プロンプト戦略を持つ GPT-4 に比べて劇的な改善を示した。 完全に自動化されたプロンプトエンジニアリング ループに人間はいない より多くの研究と改善が必要です
  論文  参考訳（メタデータ） (2023-10-11T00:21:00Z)
• Automating Human Tutor-Style Programming Feedback: Leveraging GPT-4 Tutor Model for Hint Generation and GPT-3.5 Student Model for Hint Validation [25.317788211120362]
  本稿では,人間の教師型プログラミングヒントの提供における生成型AIモデルの役割について検討する。 最近の研究は、様々なフィードバック生成シナリオのための最先端モデルのベンチマークを行っている。 我々はGPT4Hints-GPT3.5Valという新しい手法を開発し、生成AIモデルの限界を推し進める。
  論文  参考訳（メタデータ） (2023-10-05T17:02:59Z)
• MathVista: Evaluating Mathematical Reasoning of Foundation Models in Visual Contexts [170.01089233942594]
  MathVistaは、様々な数学的タスクと視覚的タスクの課題を組み合わせるために設計されたベンチマークである。 最高のパフォーマンスのGPT-4Vモデルは全体の49.9%の精度を達成し、第2位のパフォーマーであるBardを15.1%上回った。 GPT-4Vは、複雑な数字を理解し、厳格な推論を行うのに苦戦しているため、人間のパフォーマンスが10.4%下がったままである。
  論文  参考訳（メタデータ） (2023-10-03T17:57:24Z)
• Is GPT-4 a Good Data Analyst? [67.35956981748699]
  我々は、GPT-4を、広範囲のドメインのデータベースでエンドツーエンドのデータ分析を行うためのデータ分析であると考えている。 我々は,複数の専門家データアナリストとGPT-4のパフォーマンスを体系的に比較するために,タスク固有の評価指標を設計する。 実験の結果, GPT-4はヒトに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-05-24T11:26:59Z)
• Sparks of Artificial General Intelligence: Early experiments with GPT-4 [66.1188263570629]
  OpenAIが開発したGPT-4は、前例のない規模の計算とデータを使って訓練された。 我々は, GPT-4が数学, コーディング, ビジョン, 医学, 法学, 心理学などにまたがる, 新規で困難な課題を解くことを実証した。 我々は、GPT-4を人工知能(AGI)システムの早期(まだ未完成)版と見なすことができると信じている。
  論文  参考訳（メタデータ） (2023-03-22T16:51:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。