論文の概要: Harnessing LLMs in Curricular Design: Using GPT-4 to Support Authoring
of Learning Objectives
- arxiv url: http://arxiv.org/abs/2306.17459v1
- Date: Fri, 30 Jun 2023 08:15:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-03 13:13:08.771740
- Title: Harnessing LLMs in Curricular Design: Using GPT-4 to Support Authoring
of Learning Objectives
- Title(参考訳): カリキュラム設計におけるLLMのハーネス化:GPT-4を用いた学習目的のオーサリング支援
- Authors: Pragnya Sridhar and Aidan Doyle and Arav Agarwal and Christopher
Bogart and Jaromir Savelka and Majd Sakr
- Abstract要約: 高品質学習目標(LO)を自動生成する生成事前学習変圧器(GPT-4)の性能評価を行った。
LOは、知識とスキルを学習者がコースに参加することによって獲得することを意図している。
我々は,Bloomの分類学の行動動詞から始まるような,特定のベストプラクティスに従って生成されたLOを,高度化のレベルに関して分析した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We evaluated the capability of a generative pre-trained transformer (GPT-4)
to automatically generate high-quality learning objectives (LOs) in the context
of a practically oriented university course on Artificial Intelligence.
Discussions of opportunities (e.g., content generation, explanation) and risks
(e.g., cheating) of this emerging technology in education have intensified, but
to date there has not been a study of the models' capabilities in supporting
the course design and authoring of LOs. LOs articulate the knowledge and skills
learners are intended to acquire by engaging with a course. To be effective,
LOs must focus on what students are intended to achieve, focus on specific
cognitive processes, and be measurable. Thus, authoring high-quality LOs is a
challenging and time consuming (i.e., expensive) effort. We evaluated 127 LOs
that were automatically generated based on a carefully crafted prompt (detailed
guidelines on high-quality LOs authoring) submitted to GPT-4 for conceptual
modules and projects of an AI Practitioner course. We analyzed the generated
LOs if they follow certain best practices such as beginning with action verbs
from Bloom's taxonomy in regards to the level of sophistication intended. Our
analysis showed that the generated LOs are sensible, properly expressed (e.g.,
starting with an action verb), and that they largely operate at the appropriate
level of Bloom's taxonomy, respecting the different nature of the conceptual
modules (lower levels) and projects (higher levels). Our results can be
leveraged by instructors and curricular designers wishing to take advantage of
the state-of-the-art generative models to support their curricular and course
design efforts.
- Abstract(参考訳): 我々は,人工知能の実践的志向の大学コースにおいて,高品質な学習目標(LO)を自動生成する生成事前学習トランスフォーマー(GPT-4)の能力を評価した。
教育におけるこの新興技術の機会(コンテンツ生成、説明など)とリスク(不正行為など)に関する議論が激化しているが、今のところ、LOのコース設計とオーサリングを支援するモデルの能力についての研究は行われていない。
LOは、知識とスキルを学習者がコースに参加することによって獲得することを意図している。
効果的にするためには、LOは学生が達成しようとすることに集中し、特定の認知プロセスに集中し、測定しなければなりません。
したがって、高品質なLOの執筆は困難で時間を要する(すなわち高価な)作業である。
我々は、AIPractitionerコースの概念的モジュールとプロジェクトのために、GPT-4に提出された注意深いプロンプト(高品質なLOのオーサリングに関する詳細なガイドライン)に基づいて、自動生成される127個のLOを評価した。
我々は,Bloomの分類学の行動動詞から始まるような,特定のベストプラクティスに従って生成されたLOを,高度化のレベルに関して分析した。
分析の結果,生成したLOは適切で適切に表現され(例えば行動動詞から始まる),ブルームの分類の適切なレベルにおいて,概念的モジュール(下位レベル)とプロジェクト(上位レベル)の異なる性質を尊重して運用されていることがわかった。
本研究の結果をインストラクターやカーリカルデザイナーが活用し,最新の生成モデルを活用してカーリカルデザインやコースデザインを支援する。
関連論文リスト
- A Comparative Study of AI-Generated (GPT-4) and Human-crafted MCQs in
Programming Education [5.104551615607713]
我々は,高等教育におけるPythonプログラミングクラスから,特定の学習目標(LO)に適合したマルチチョイス質問(MCQ)を生成するGPT-4の能力について分析した。
GPT-4は明確な言語でMCQを生成でき、1つの正しい選択と高品質なイントラクタを生成できることがわかった。
論文 参考訳(メタデータ) (2023-12-05T22:29:43Z) - ActiveAI: Introducing AI Literacy for Middle School Learners with
Goal-based Scenario Learning [0.0]
ActiveAIプロジェクトは、小学校7~9年生のAI教育における重要な課題に対処する。
このアプリには、スライダー、ステッパー、コレクタなど、さまざまな学習者インプットが組み込まれており、理解を深めている。
このプロジェクトは、現在実装段階にあり、アプリ開発にインテリジェントなチューター設計原則を活用している。
論文 参考訳(メタデータ) (2023-08-21T11:43:43Z) - KoLA: Carefully Benchmarking World Knowledge of Large Language Models [56.672981891304005]
我々は知識指向LLMアセスメントベンチマーク(KoLA)を構築した。
能力モデリングでは、人間の認知を模倣して知識関連能力の4段階の分類を作成し、19ドルのタスクをカバーしている。
データには、LLMによって事前訓練されたコーパスであるウィキペディアと、継続的に収集される新興コーパスの両方を使用し、目に見えないデータを扱う能力と知識の進化を評価することを目的としています。
論文 参考訳(メタデータ) (2023-06-15T17:20:46Z) - Scaling Evidence-based Instructional Design Expertise through Large
Language Models [0.0]
本稿では,大規模言語モデル(LLM),特にGPT-4を教育設計の分野で活用することを検討する。
本研究は,エビデンスに基づく教育設計の専門知識のスケールアップに着目し,理論教育学と実践実践のギャップを埋めることを目的としている。
我々は,AIによるコンテンツ生成のメリットと限界について論じ,教育資料の品質確保に人的監督が必要であることを強調した。
論文 参考訳(メタデータ) (2023-05-31T17:54:07Z) - Do Large Language Models Know What They Don't Know? [74.65014158544011]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに優れた知識を持つ。
膨大な知識にもかかわらず、LLMはそれらが適合し理解できる情報の量によって制限されている。
本研究の目的は,LLMの自己理解能力を評価することである。
論文 参考訳(メタデータ) (2023-05-29T15:30:13Z) - Knowledge-Augmented Reasoning Distillation for Small Language Models in
Knowledge-Intensive Tasks [90.11273439036455]
大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。
外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。
我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
論文 参考訳(メタデータ) (2023-05-28T13:00:00Z) - HowkGPT: Investigating the Detection of ChatGPT-generated University
Student Homework through Context-Aware Perplexity Analysis [13.098764928946208]
HowkGPTは学術的な課題と付随するメタデータのデータセットの上に構築されている。
生徒とChatGPTが生成する応答の難易度スコアを計算する。
さらに、カテゴリ固有のしきい値を定義することで分析を洗練させる。
論文 参考訳(メタデータ) (2023-05-26T11:07:25Z) - A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。
NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。
NLGのKE-PLMは、KGベースと検索ベースに分類される。
論文 参考訳(メタデータ) (2022-11-11T04:29:02Z) - Modelling Assessment Rubrics through Bayesian Networks: a Pragmatic
Approach [59.77710485234197]
本稿では,学習者モデルを直接評価ルーリックから導出する手法を提案する。
本稿では,コンピュータ思考のスキルをテストするために開発された活動の人的評価を自動化するために,この手法を適用する方法について述べる。
論文 参考訳(メタデータ) (2022-09-07T10:09:12Z) - AANG: Automating Auxiliary Learning [110.36191309793135]
補助目的の集合を自動生成する手法を提案する。
我々は、新しい統合分類体系の中で既存の目的を分解し、それらの関係を識別し、発見された構造に基づいて新しい目的を創出することで、これを実現する。
これにより、生成された目的物の空間を探索し、指定されたエンドタスクに最も有用なものを見つけるための、原理的かつ効率的なアルゴリズムが導かれる。
論文 参考訳(メタデータ) (2022-05-27T16:32:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。