論文の概要: Large Language Models As MOOCs Graders

• arxiv url: http://arxiv.org/abs/2402.03776v4
• Date: Fri, 1 Mar 2024 04:48:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-04 13:51:38.091449
• Title: Large Language Models As MOOCs Graders
• Title（参考訳）: MOOCsグレーダーとしての大規模言語モデル
• Authors: Shahriar Golchin, Nikhil Garuda, Christopher Impey, Matthew Wenger
• Abstract要約: 大規模言語モデル(LLM)を活用したMOOCのピアグレーディングの実現可能性について検討する。 LLMを指示するには、ゼロショットチェーン・オブ・シークレット・プロンプトの変種に基づく3つの異なるプロンプトを使用する。 以上の結果から,Zero-shot-CoTはインストラクターが提供する回答やルーリックと統合された場合,インストラクターが割り当てたものとより整合したグレードを生成することがわかった。
• 参考スコア（独自算出の注目度）: 3.379574469735166
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Massive open online courses (MOOCs) unlock the doors to free education for anyone around the globe with access to a computer and the internet. Despite this democratization of learning, the massive enrollment in these courses means it is almost impossible for one instructor to assess every student's writing assignment. As a result, peer grading, often guided by a straightforward rubric, is the method of choice. While convenient, peer grading often falls short in terms of reliability and validity. In this study, using 18 distinct settings, we explore the feasibility of leveraging large language models (LLMs) to replace peer grading in MOOCs. Specifically, we focus on two state-of-the-art LLMs: GPT-4 and GPT-3.5, across three distinct courses: Introductory Astronomy, Astrobiology, and the History and Philosophy of Astronomy. To instruct LLMs, we use three different prompts based on a variant of the zero-shot chain-of-thought (Zero-shot-CoT) prompting technique: Zero-shot-CoT combined with instructor-provided correct answers; Zero-shot-CoT in conjunction with both instructor-formulated answers and rubrics; and Zero-shot-CoT with instructor-offered correct answers and LLM-generated rubrics. Our results show that Zero-shot-CoT, when integrated with instructor-provided answers and rubrics, produces grades that are more aligned with those assigned by instructors compared to peer grading. However, the History and Philosophy of Astronomy course proves to be more challenging in terms of grading as opposed to other courses. Finally, our study reveals a promising direction for automating grading systems for MOOCs, especially in subjects with well-defined rubrics.
• Abstract（参考訳）: 大規模なオープン・オンライン・コース(moocs)は、世界中の誰でもコンピュータとインターネットにアクセスできる自由教育の扉を開ける。 このような学習の民主化にもかかわらず、これらのコースの大規模な入学は、一人の教官が生徒全員の筆記課題を評価することはほぼ不可能であることを意味する。 結果として、単純なルーブリックによって導かれるピアグレーティングが選択方法である。 便利だが、ピアグレーディングは信頼性と妥当性の点で不足することが多い。 本研究では18の異なる設定を用いて,MOOCにおけるピアグレーディングを代替する大規模言語モデル(LLM)の実現可能性を検討する。 具体的には,GPT-4 と GPT-3.5 の3つの異なるコース,すなわち導入天文学,天文学,天文学史と哲学に焦点をあてる。 LLMを指導するためには、ゼロショットチェーン・オブ・シークレット (Zero-shot-CoT) の変種に基づく3つの異なるプロンプトを使用する: ゼロショット-CoTとインストラクターが提案した正解を組み合わせ、ゼロショット-CoTとインストラクターが生成した正解とLLMを併用するゼロショット-CoT。 その結果,Zero-shot-CoTはインストラクターが提供する回答やルーブリックと統合された場合,ピアグレーティングよりもインストラクターが割り当てたものとより整合した成績が得られた。 しかし、天文学コースの歴史と哲学は、他のコースとは対照的に、成績付けの点でより困難であることが証明されている。 最後に,本研究は,特にルーブリックをよく定義した被験者において,moocのグレーティングシステムを自動化するための有望な方向性を示す。

関連論文リスト

• Humanity's Last Exam [253.45228996132735]
  HumanityのLast Exam(HLE)は、人間の知識の最前線におけるマルチモーダルベンチマークである。 数学、人文科学、自然科学など、数十の科目にわたる3000の質問で構成されている。 各質問には、曖昧で容易に検証できる既知のソリューションがあるが、インターネット検索ではすぐには答えられない。
  論文  参考訳（メタデータ） (2025-01-24T05:27:46Z)
• Using Large Language Models for Automated Grading of Student Writing about Science [2.883578416080909]
  AIは、学生の文章を評価するために大きな言語モデル(LLM)を使用する可能性を導入した。 GPT-4を用いてLLMに基づく機械学習手法がインストラクターグレーティングの信頼性に適合するか否かを判定する実験を行った。 結果はまた、評価内容とモードが類似している大学環境での非科学専攻にも適用されるべきである。
  論文  参考訳（メタデータ） (2024-12-25T00:31:53Z)
• Understanding the Dark Side of LLMs' Intrinsic Self-Correction [55.51468462722138]
  LLMの応答を改善するために,本質的な自己補正法が提案された。 近年の研究では、LLMの内在的な自己補正は、フィードバックのプロンプトとして、オラクルラベルなしで失敗することが示されている。 内在的な自己補正は、中途半端な回答と最終回答の両方を LLM が揺らぎ、単純な事実的質問に対する素早い偏見をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-12-19T15:39:31Z)
• Grading Massive Open Online Courses Using Large Language Models [3.0936354370614607]
  大規模なオープンオンラインコース(MOOC)は、世界中で無料の教育を提供している。 ピアグレーディング(Peergrading)は、しばしば直感的なルーリックによって導かれるもので、選択の方法である。 大規模言語モデル(LLM)を用いてMOOCのピアグレーディングを置き換えることの実現可能性について検討する。
  論文  参考訳（メタデータ） (2024-06-16T23:42:11Z)
• Grade Like a Human: Rethinking Automated Assessment with Large Language Models [11.442433408767583]
  大規模言語モデル(LLM)は自動階調に使われてきたが、人間と同等のパフォーマンスを達成できていない。 本稿では,次のキーコンポーネントを含むすべてのグルーピング手順に対処するLLMに基づくグルーピングシステムを提案する。
  論文  参考訳（メタデータ） (2024-05-30T05:08:15Z)
• AutoTutor meets Large Language Models: A Language Model Tutor with Rich Pedagogy and Guardrails [43.19453208130667]
  大規模言語モデル(LLM)は、自動質問生成からエッセイ評価まで、いくつかのユースケースを教育で発見した。 本稿では,Large Language Models (LLMs) を用いて知的チューリングシステムを構築する可能性について検討する。 MWPTutor は LLM を用いて事前定義された有限状態トランスデューサの状態空間を補う。
  論文  参考訳（メタデータ） (2024-02-14T14:53:56Z)
• SciInstruct: a Self-Reflective Instruction Annotated Dataset for Training Scientific Language Models [57.96527452844273]
  我々はSciInstructを紹介した。SciInstructは、大学レベルの科学的推論が可能な科学言語モデルを訓練するための科学指導スイートである。 我々は、物理学、化学、数学、公式な証明を含む多種多様な高品質なデータセットをキュレートした。 SciInstructの有効性を検証するため、SciInstruct、すなわちChatGLM3(6Bと32B)、Llama3-8B-Instruct、Mistral-7B: MetaMathを用いて言語モデルを微調整した。
  論文  参考訳（メタデータ） (2024-01-15T20:22:21Z)
• The Earth is Flat? Unveiling Factual Errors in Large Language Models [89.94270049334479]
  ChatGPTのような大規模言語モデル(LLM)は、事前学習や微調整の知識が豊富にあるため、様々な応用がある。 それにもかかわらず、医療、ジャーナリズム、教育といった重要な分野に懸念を抱き、事実と常識の誤りを引き起こす傾向にある。 LLMにおける事実不正確な事実を明らかにすることを目的とした,新しい自動テストフレームワークであるFactCheckerを紹介する。
  論文  参考訳（メタデータ） (2024-01-01T14:02:27Z)
• AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
  Alignedcotは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。 ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。 数学的推論とコモンセンス推論の実験を行う。
  論文  参考訳（メタデータ） (2023-11-22T17:24:21Z)
• Can Large Language Models Transform Computational Social Science? [79.62471267510963]
  大規模言語モデル(LLM)は、(トレーニングデータなしで)ゼロショットで多くの言語処理タスクを実行することができる この研究は、計算社会科学ツールとしてLLMを使用するためのロードマップを提供する。
  論文  参考訳（メタデータ） (2023-04-12T17:33:28Z)
• Large Scale Analysis of Open MOOC Reviews to Support Learners' Course Selection [17.376856503445826]
  5つのプラットフォームから4400万レビュー(これまでで最大のMOOCレビューデータセット)を分析します。 その結果、数値格付けは明らかに偏っている(そのうち63%が5つ星格付けである)。 われわれの研究は、この領域に光を当て、オンライン教育のレビューにおいてより透明なアプローチを促進することを期待している。
  論文  参考訳（メタデータ） (2022-01-11T10:24:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。