論文の概要: The application of GPT-4 in grading design university students' assignment and providing feedback: An exploratory study
- arxiv url: http://arxiv.org/abs/2409.17698v1
- Date: Thu, 26 Sep 2024 10:09:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-28 20:46:02.574182
- Title: The application of GPT-4 in grading design university students' assignment and providing feedback: An exploratory study
- Title（参考訳）: デザイン学生の課題とフィードバック提供におけるGPT-4の適用:探索的研究
- Authors: Qian Huang, Thijs Willems, King Wang Poon,
- Abstract要約: 本研究は、カスタムGPTの開発において反復的な研究アプローチを採用する。
GPTとヒトのラッカー間の信頼関係は、一般に教育者によって受け入れられる水準に達した。
適切な指導により、カスタム GPT は、学生の学習の前提条件である一貫した結果を与える。
- 参考スコア（独自算出の注目度）: 5.915297169078896
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study aims to investigate whether GPT-4 can effectively grade assignments for design university students and provide useful feedback. In design education, assignments do not have a single correct answer and often involve solving an open-ended design problem. This subjective nature of design projects often leads to grading problems,as grades can vary between different raters,for instance instructor from engineering background or architecture background. This study employs an iterative research approach in developing a Custom GPT with the aim of achieving more reliable results and testing whether it can provide design students with constructive feedback. The findings include: First,through several rounds of iterations the inter-reliability between GPT and human raters reached a level that is generally accepted by educators. This indicates that by providing accurate prompts to GPT,and continuously iterating to build a Custom GPT, it can be used to effectively grade students' design assignments, serving as a reliable complement to human raters. Second, the intra-reliability of GPT's scoring at different times is between 0.65 and 0.78. This indicates that, with adequate instructions, a Custom GPT gives consistent results which is a precondition for grading students. As consistency and comparability are the two main rules to ensure the reliability of educational assessment, this study has looked at whether a Custom GPT can be developed that adheres to these two rules. We finish the paper by testing whether Custom GPT can provide students with useful feedback and reflecting on how educators can develop and iterate a Custom GPT to serve as a complementary rater.
- Abstract（参考訳）: 本研究は,GPT-4がデザイン大学生の課題を効果的に評価し,有用なフィードバックを提供することができるかどうかを検討することを目的とする。
デザイン教育では、課題には1つの正しい答えはなく、しばしばオープンな設計問題の解決に関わる。
設計プロジェクトの主観的な性質は、工学的背景やアーキテクチャ的背景からのインストラクターなど、異なるレーダ間でグレードが異なるため、グレードの問題につながることが多い。
本研究は、より信頼性の高い成果を達成し、デザイン学生に建設的なフィードバックを提供するかどうかをテストするために、カスタムGPTの開発において反復的な研究手法を採用する。
まず、何回かの反復を通して、GPTと人間のラッカーの相互信頼度は、教育者が一般的に受け入れるレベルに達しました。
このことは、GPTに正確なプロンプトを提供し、Custom GPTを構築するために継続的に反復することにより、学生の設計課題を効果的に評価し、人間のレーダに対する信頼性の高い補完として機能させることができることを示している。
第2に、GPTスコアの異なる時間での信頼性は0.65から0.78である。
このことは、適切な指示によって、Custom GPTは、学生の学習の前提条件である一貫性のある結果を与えることを示している。
整合性と整合性は教育評価の信頼性を確保するための2つの主要なルールであるので,これら2つのルールに準拠したカスタムGPTを開発できるかどうかを検討した。
我々は、Custom GPTが学生に有用なフィードバックを提供することができるかどうかを検証し、Custom GPTを補完的なレーダとして機能させるために、教育者がどのように開発し、反復するかを反映して、論文を締めくくった。
関連論文リスト
- Assessing instructor-AI cooperation for grading essay-type questions in an introductory sociology course [0.0]
生成前学習型トランスフォーマー(GPT)モデルの性能評価を行った。
グレードリングでは,GPTがヒトのグレードラースコアと強い相関を示し,特にテンプレート回答が提供された。
この研究は、教育におけるAIに関する文献の増大に寄与し、エッセイ型質問の質と効率を高める可能性を示す。
論文 参考訳（メタデータ） (2025-01-11T07:18:12Z) - Evaluating GPT-4 at Grading Handwritten Solutions in Math Exams [48.99818550820575]
我々は、最先端のマルチモーダルAIモデル、特にGPT-4oを利用して、大学レベルの数学試験に対する手書きの応答を自動的に評価する。
確率論試験における質問に対する実際の学生の反応を用いて, GPT-4oのスコアと, 様々なプロンプト技術を用いて, 人間の学級のスコアとの整合性を評価する。
論文 参考訳（メタデータ） (2024-11-07T22:51:47Z) - How Can I Improve? Using GPT to Highlight the Desired and Undesired Parts of Open-ended Responses [11.809647985607935]
提案手法は,説明的フィードバックを提供する上で,望ましい,望ましくないコンポーネントを識別することに焦点を当てたシーケンスラベリング手法を提案する。
GPTモデルにより同定された強調された賞賛成分の品質を定量化するため,M-IoU(Modified Intersection over Union)スコアを導入した。
以上の結果から,(1)M-IoUスコアはシーケンス品質評価における人的判断と効果的に相関し,(2)GPT-3.5上での2ショットプロンプトは,努力に基づく評価と成果に基づく評価の認識において良好な性能を示し,(3)M-IoUスコアの0.6が最適微調整GPT-3.5モデルであった。
論文 参考訳（メタデータ） (2024-05-01T02:59:10Z) - Feedback-Generation for Programming Exercises With GPT-4 [0.0]
本稿では,プログラミングタスク仕様と学生が入力として提出した入力の両方を含むプロンプトに対して,GPT-4 Turboが生成する出力の品質について検討する。
アウトプットは, 正当性, パーソナライゼーション, フォールトローカライゼーション, その他の特徴について質的に分析した。
論文 参考訳（メタデータ） (2024-03-07T12:37:52Z) - CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。
CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
論文 参考訳（メタデータ） (2023-11-30T16:52:42Z) - Unlocking the Potential of Prompt-Tuning in Bridging Generalized and
Personalized Federated Learning [49.72857433721424]
Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。
本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
論文 参考訳（メタデータ） (2023-10-27T17:22:09Z) - Comparative Analysis of GPT-4 and Human Graders in Evaluating Praise
Given to Students in Synthetic Dialogues [2.3361634876233817]
AIチャットボットChatGPTのような大規模な言語モデルは、実践的な設定で家庭教師に建設的なフィードバックを提供する可能性を秘めている。
AIが生成したフィードバックの正確性はまだ不明であり、ChatGPTのようなモデルが効果的なフィードバックを提供する能力について研究している。
論文 参考訳（メタデータ） (2023-07-05T04:14:01Z) - Large Language Models (GPT) for automating feedback on programming
assignments [0.0]
我々は,プログラミング課題を解決するためのパーソナライズされたヒントを生成するために,OpenAIのGPT-3.5モデルを採用している。
学生はGPT生成ヒントの有用性を肯定的に評価した。
論文 参考訳（メタデータ） (2023-06-30T21:57:40Z) - Collaborative Generative AI: Integrating GPT-k for Efficient Editing in
Text-to-Image Generation [114.80518907146792]
GPT-kのような大規模言語モデルを利用してテキスト・画像生成の迅速な編集プロセスを改善する可能性について検討する。
我々は、人間とGPT-kの共通編集を比較し、T2Iを誘導する際のGPT-kの性能を評価し、このプロセスに影響を与える可能性のある要因を検討する。
論文 参考訳（メタデータ） (2023-05-18T21:53:58Z) - Towards Building the Federated GPT: Federated Instruction Tuning [66.7900343035733]
本稿では,大規模言語モデル(LLM)の命令チューニングのための学習フレームワークとして,FedIT(Federated Instruction Tuning)を紹介する。
我々は,FedITを用いてクライアントの終端における多種多様な命令セットを活用することにより,ローカル命令のみを限定した集中学習に比べ,LLMの性能を向上させることを実証した。
論文 参考訳（メタデータ） (2023-05-09T17:42:34Z) - GPT-4 Technical Report [116.90398195245983]
GPT-4は大規模なマルチモーダルモデルであり、画像やテキストの入力を受け取り、テキスト出力を生成することができる。
試験受験者の上位10%のスコアで模擬試験に合格するなど、さまざまな専門的、学術的なベンチマークで人間レベルのパフォーマンスを示す。
論文 参考訳（メタデータ） (2023-03-15T17:15:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。