論文の概要: Assessing instructor-AI cooperation for grading essay-type questions in an introductory sociology course

• arxiv url: http://arxiv.org/abs/2501.06461v1
• Date: Sat, 11 Jan 2025 07:18:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:25:42.982589
• Title: Assessing instructor-AI cooperation for grading essay-type questions in an introductory sociology course
• Title（参考訳）: 導入社会学コースにおけるエッセイ型質問に対するインストラクターとAIの連携評価
• Authors: Francisco Olivos, Tobias Kamelski, Sebastián Ascui-Gac,
• Abstract要約: 生成前学習型トランスフォーマー(GPT)モデルの性能評価を行った。 グレードリングでは,GPTがヒトのグレードラースコアと強い相関を示し,特にテンプレート回答が提供された。 この研究は、教育におけるAIに関する文献の増大に寄与し、エッセイ型質問の質と効率を高める可能性を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This study explores the use of artificial intelligence (AI) as a complementary tool for grading essay-type questions in higher education, focusing on its consistency with human grading and potential to reduce biases. Using 70 handwritten exams from an introductory sociology course, we evaluated generative pre-trained transformers (GPT) models' performance in transcribing and scoring students' responses. GPT models were tested under various settings for both transcription and grading tasks. Results show high similarity between human and GPT transcriptions, with GPT-4o-mini outperforming GPT-4o in accuracy. For grading, GPT demonstrated strong correlations with the human grader scores, especially when template answers were provided. However, discrepancies remained, highlighting GPT's role as a "second grader" to flag inconsistencies for assessment reviewing rather than fully replace human evaluation. This study contributes to the growing literature on AI in education, demonstrating its potential to enhance fairness and efficiency in grading essay-type questions.
• Abstract（参考訳）: 本研究では,人工知能(AI)を高等教育におけるエッセイ型質問の類型化のための補完的ツールとして活用し,人間の格付けとの整合性とバイアス軽減の可能性に着目した。 導入社会学コースの70個の手書き試験を用いて, 学生の反応の書き起こしと評価において, 生成前学習モデルの性能を評価した。 GPTモデルは、転写タスクとグルーピングタスクの両方で様々な設定でテストされた。 結果,GPT-4o-miniはGPT-4oより高い精度で発現し,ヒトとGPTの転写に高い類似性を示した。 グレードリングでは,GPTがヒトのグレードラースコアと強い相関を示し,特にテンプレート回答が提供された。 しかし、不一致は残り、GPTが人間の評価を完全に置き換えるのではなく、評価レビューの不整合をフラグする「二年生」としての役割を強調した。 この研究は、教育におけるAIに関する文献の増大に寄与し、エッセイ型質問の質と効率を高める可能性を示す。

関連論文リスト

• Evaluating GPT-4 at Grading Handwritten Solutions in Math Exams [48.99818550820575]
  我々は、最先端のマルチモーダルAIモデル、特にGPT-4oを利用して、大学レベルの数学試験に対する手書きの応答を自動的に評価する。 確率論試験における質問に対する実際の学生の反応を用いて, GPT-4oのスコアと, 様々なプロンプト技術を用いて, 人間の学級のスコアとの整合性を評価する。
  論文  参考訳（メタデータ） (2024-11-07T22:51:47Z)
• Beyond human subjectivity and error: a novel AI grading system [67.410870290301]
  オープンエンドの質問の格付けは、教育における高い努力と高いインパクトの課題である。 AI技術の最近のブレークスルーは、このような自動化を促進するかもしれないが、大規模に実証されていない。 本稿では,新しい自動短解階調システム(ASAG)を提案する。
  論文  参考訳（メタデータ） (2024-05-07T13:49:59Z)
• Gemini Pro Defeated by GPT-4V: Evidence from Education [1.0226894006814744]
  GPT-4Vは、スコアリング精度と四重み付きカッパの点でゲミニプロを著しく上回っている。 GPT-4Vは複雑な教育課題に対処する能力に優れていた。
  論文  参考訳（メタデータ） (2023-12-27T02:56:41Z)
• CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
  Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。 CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
  論文  参考訳（メタデータ） (2023-11-30T16:52:42Z)
• Is GPT a Computational Model of Emotion? Detailed Analysis [2.0001091112545066]
  本稿では,大規模言語モデルにおけるGPTファミリーの感情的推論能力について,コンポーネントの観点から検討する。 GPTの予測は人為的な評価や感情的なラベルと大きく一致している。 しかし、GPTは感情の強さと対処反応を予測するのに困難に直面している。
  論文  参考訳（メタデータ） (2023-07-25T19:34:44Z)
• Comparative Analysis of GPT-4 and Human Graders in Evaluating Praise Given to Students in Synthetic Dialogues [2.3361634876233817]
  AIチャットボットChatGPTのような大規模な言語モデルは、実践的な設定で家庭教師に建設的なフィードバックを提供する可能性を秘めている。 AIが生成したフィードバックの正確性はまだ不明であり、ChatGPTのようなモデルが効果的なフィードバックを提供する能力について研究している。
  論文  参考訳（メタデータ） (2023-07-05T04:14:01Z)
• GPT4 is Slightly Helpful for Peer-Review Assistance: A Pilot Study [0.0]
  GPT4はピアレビュープロセスを支援するために開発された。 大規模な機械学習会議に提出された学術論文の人間レビュアーとGPTモデルによるレビューを比較することにより、人工知能がピアレビュープロセスに効果的に貢献できるという最初の証拠を提供する。
  論文  参考訳（メタデータ） (2023-06-16T23:11:06Z)
• INSTRUCTSCORE: Explainable Text Generation Evaluation with Finegrained Feedback [80.57617091714448]
  テキスト生成のための説明可能な評価指標であるInstructScoreを提案する。 LLaMAに基づいてテキスト評価基準を微調整し、生成されたテキストのスコアと人間の可読性診断レポートを生成する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:22Z)
• Collaborative Generative AI: Integrating GPT-k for Efficient Editing in Text-to-Image Generation [114.80518907146792]
  GPT-kのような大規模言語モデルを利用してテキスト・画像生成の迅速な編集プロセスを改善する可能性について検討する。 我々は、人間とGPT-kの共通編集を比較し、T2Iを誘導する際のGPT-kの性能を評価し、このプロセスに影響を与える可能性のある要因を検討する。
  論文  参考訳（メタデータ） (2023-05-18T21:53:58Z)
• Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems [64.4896118325552]
  モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。 AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
  論文  参考訳（メタデータ） (2020-07-14T03:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。