論文の概要: Harnessing LLMs in Curricular Design: Using GPT-4 to Support Authoring
of Learning Objectives
- arxiv url: http://arxiv.org/abs/2306.17459v1
- Date: Fri, 30 Jun 2023 08:15:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-03 13:13:08.771740
- Title: Harnessing LLMs in Curricular Design: Using GPT-4 to Support Authoring
of Learning Objectives
- Title（参考訳）: カリキュラム設計におけるLLMのハーネス化:GPT-4を用いた学習目的のオーサリング支援
- Authors: Pragnya Sridhar and Aidan Doyle and Arav Agarwal and Christopher
Bogart and Jaromir Savelka and Majd Sakr
- Abstract要約: 高品質学習目標(LO)を自動生成する生成事前学習変圧器(GPT-4)の性能評価を行った。
LOは、知識とスキルを学習者がコースに参加することによって獲得することを意図している。
我々は,Bloomの分類学の行動動詞から始まるような,特定のベストプラクティスに従って生成されたLOを,高度化のレベルに関して分析した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We evaluated the capability of a generative pre-trained transformer (GPT-4)
to automatically generate high-quality learning objectives (LOs) in the context
of a practically oriented university course on Artificial Intelligence.
Discussions of opportunities (e.g., content generation, explanation) and risks
(e.g., cheating) of this emerging technology in education have intensified, but
to date there has not been a study of the models' capabilities in supporting
the course design and authoring of LOs. LOs articulate the knowledge and skills
learners are intended to acquire by engaging with a course. To be effective,
LOs must focus on what students are intended to achieve, focus on specific
cognitive processes, and be measurable. Thus, authoring high-quality LOs is a
challenging and time consuming (i.e., expensive) effort. We evaluated 127 LOs
that were automatically generated based on a carefully crafted prompt (detailed
guidelines on high-quality LOs authoring) submitted to GPT-4 for conceptual
modules and projects of an AI Practitioner course. We analyzed the generated
LOs if they follow certain best practices such as beginning with action verbs
from Bloom's taxonomy in regards to the level of sophistication intended. Our
analysis showed that the generated LOs are sensible, properly expressed (e.g.,
starting with an action verb), and that they largely operate at the appropriate
level of Bloom's taxonomy, respecting the different nature of the conceptual
modules (lower levels) and projects (higher levels). Our results can be
leveraged by instructors and curricular designers wishing to take advantage of
the state-of-the-art generative models to support their curricular and course
design efforts.
- Abstract（参考訳）: 我々は,人工知能の実践的志向の大学コースにおいて,高品質な学習目標(LO)を自動生成する生成事前学習トランスフォーマー(GPT-4)の能力を評価した。
教育におけるこの新興技術の機会(コンテンツ生成、説明など)とリスク(不正行為など)に関する議論が激化しているが、今のところ、LOのコース設計とオーサリングを支援するモデルの能力についての研究は行われていない。
LOは、知識とスキルを学習者がコースに参加することによって獲得することを意図している。
効果的にするためには、LOは学生が達成しようとすることに集中し、特定の認知プロセスに集中し、測定しなければなりません。
したがって、高品質なLOの執筆は困難で時間を要する(すなわち高価な)作業である。
我々は、AIPractitionerコースの概念的モジュールとプロジェクトのために、GPT-4に提出された注意深いプロンプト(高品質なLOのオーサリングに関する詳細なガイドライン)に基づいて、自動生成される127個のLOを評価した。
我々は,Bloomの分類学の行動動詞から始まるような,特定のベストプラクティスに従って生成されたLOを,高度化のレベルに関して分析した。
分析の結果,生成したLOは適切で適切に表現され(例えば行動動詞から始まる),ブルームの分類の適切なレベルにおいて,概念的モジュール(下位レベル)とプロジェクト(上位レベル)の異なる性質を尊重して運用されていることがわかった。
本研究の結果をインストラクターやカーリカルデザイナーが活用し,最新の生成モデルを活用してカーリカルデザインやコースデザインを支援する。
関連論文リスト
- Benchmarking Vision Language Model Unlearning via Fictitious Facial Identity Dataset [94.13848736705575]
我々は、未学習アルゴリズムの有効性を頑健に評価するために設計された新しいVLMアンラーニングベンチマークであるFacial Identity Unlearning Benchmark (FIUBench)を紹介する。
情報ソースとその露出レベルを正確に制御する2段階評価パイプラインを適用した。
FIUBench 内の 4 つのベースライン VLM アンラーニングアルゴリズムの評価により,すべての手法がアンラーニング性能に制限されていることが明らかとなった。
論文 参考訳（メタデータ） (2024-11-05T23:26:10Z) - A Novel Psychometrics-Based Approach to Developing Professional Competency Benchmark for Large Language Models [0.0]
本稿では,厳密な心理測定原理に基づくベンチマーク開発への包括的アプローチを提案する。
我々は、教育と教育の分野で新しいベンチマークを作成することで、このアプローチを説明する最初の試みを行う。
我々はブルームの分類学によってガイドされ、テスト開発で訓練された教育専門家のコンソーシアムによって厳格に設計された新しいベンチマークを構築した。
論文 参考訳（メタデータ） (2024-10-29T19:32:43Z) - GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。
本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
論文 参考訳（メタデータ） (2024-10-11T03:05:06Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳（メタデータ） (2024-06-28T20:06:30Z) - Unleashing the potential of prompt engineering in Large Language Models: a comprehensive review [1.6006550105523192]
大規模言語モデル(LLM)の能力を解き放つ上で,迅速なエンジニアリングが果たす重要な役割を概観する
自己整合性、思考の連鎖、そして生成された知識などの技術を含む、素早い工学の基礎的方法論と先進的な方法論の両方を検査する。
レビューはまた、AI能力の進歩におけるエンジニアリングの急進的な役割を反映し、将来の研究と応用のための構造化されたフレームワークを提供する。
論文 参考訳（メタデータ） (2023-10-23T09:15:18Z) - ActiveAI: Introducing AI Literacy for Middle School Learners with
Goal-based Scenario Learning [0.0]
ActiveAIプロジェクトは、小学校7～9年生のAI教育における重要な課題に対処する。
このアプリには、スライダー、ステッパー、コレクタなど、さまざまな学習者インプットが組み込まれており、理解を深めている。
このプロジェクトは、現在実装段階にあり、アプリ開発にインテリジェントなチューター設計原則を活用している。
論文 参考訳（メタデータ） (2023-08-21T11:43:43Z) - Scaling Evidence-based Instructional Design Expertise through Large
Language Models [0.0]
本稿では,大規模言語モデル(LLM),特にGPT-4を教育設計の分野で活用することを検討する。
本研究は,エビデンスに基づく教育設計の専門知識のスケールアップに着目し,理論教育学と実践実践のギャップを埋めることを目的としている。
我々は,AIによるコンテンツ生成のメリットと限界について論じ,教育資料の品質確保に人的監督が必要であることを強調した。
論文 参考訳（メタデータ） (2023-05-31T17:54:07Z) - Knowledge-Augmented Reasoning Distillation for Small Language Models in
Knowledge-Intensive Tasks [90.11273439036455]
大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。
外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。
我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
論文 参考訳（メタデータ） (2023-05-28T13:00:00Z) - A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。
NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。
NLGのKE-PLMは、KGベースと検索ベースに分類される。
論文 参考訳（メタデータ） (2022-11-11T04:29:02Z) - AANG: Automating Auxiliary Learning [110.36191309793135]
補助目的の集合を自動生成する手法を提案する。
我々は、新しい統合分類体系の中で既存の目的を分解し、それらの関係を識別し、発見された構造に基づいて新しい目的を創出することで、これを実現する。
これにより、生成された目的物の空間を探索し、指定されたエンドタスクに最も有用なものを見つけるための、原理的かつ効率的なアルゴリズムが導かれる。
論文 参考訳（メタデータ） (2022-05-27T16:32:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。