論文の概要: Atomic Learning Objectives Labeling: A High-Resolution Approach for Physics Education
- arxiv url: http://arxiv.org/abs/2412.09914v1
- Date: Fri, 13 Dec 2024 07:05:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-16 15:03:40.004721
- Title: Atomic Learning Objectives Labeling: A High-Resolution Approach for Physics Education
- Title(参考訳): 原子学習対象のラベル付け:物理教育における高分解能アプローチ
- Authors: Naiming Liu, Shashank Sonkar, Debshila Basu Mallick, Richard Baraniuk, Zhongzhou Chen,
- Abstract要約: 本稿では,物理学習のための高分解能マップを作成するための新しいアプローチを提案する。
物理問題の自動ラベル付けには,大規模言語モデルを用いる。
我々の研究は、学習目標を質問にマッピングするより粒度の細かいアプローチを提案することによって、学習分析の分野に貢献する。
- 参考スコア(独自算出の注目度): 2.6771924284364452
- License:
- Abstract: This paper introduces a novel approach to create a high-resolution "map" for physics learning: an "atomic" learning objectives (LOs) system designed to capture detailed cognitive processes and concepts required for problem solving in a college-level introductory physics course. Our method leverages Large Language Models (LLMs) for automated labeling of physics questions and introduces a comprehensive set of metrics to evaluate the quality of the labeling outcomes. The atomic LO system, covering nine chapters of an introductory physics course, uses a "subject-verb-object'' structure to represent specific cognitive processes. We apply this system to 131 questions from expert-curated question banks and the OpenStax University Physics textbook. Each question is labeled with 1-8 atomic LOs across three chapters. Through extensive experiments using various prompting strategies and LLMs, we compare automated LOs labeling results against human expert labeling. Our analysis reveals both the strengths and limitations of LLMs, providing insight into LLMs reasoning processes for labeling LOs and identifying areas for improvement in LOs system design. Our work contributes to the field of learning analytics by proposing a more granular approach to mapping learning objectives with questions. Our findings have significant implications for the development of intelligent tutoring systems and personalized learning pathways in STEM education, paving the way for more effective "learning GPS'' systems.
- Abstract(参考訳): 本稿では、大学レベルの入門物理学コースにおいて、問題解決に必要な詳細な認知過程と概念を捉えるために設計された「原子的」学習目標(LO)システムである、物理学習のための高分解能な「マップ」を作成するための新しいアプローチを紹介する。
本手法は,物理質問の自動ラベリングにLarge Language Models (LLMs) を用い,ラベリング結果の品質を評価するための総合的なメトリクスセットを導入する。
導入物理コースの9章をカバーする原子LOシステムは、特定の認知過程を表すために「対象-動詞」構造を用いる。本システムは、専門家計算された質問バンクとOpenStax大学物理学教科書から131の質問に適用される。各質問には、3章にわたる1-8の原子LOがラベル付けされている。様々なプロンプト戦略とLLMを用いた広範な実験を通じて、自動LOのラベル付け結果と人間の専門家ラベル付け結果を比較する。我々は、LLMの長所と短所の両方を明らかにし、LOのラベル付けのためのLSMの推論プロセスの長所と短所を明らかにし、LOのシステム設計を改善するための領域を特定することを目的としている。我々の研究は、より詳細なアプローチによる学習分野の学習に寄与する。我々は、より詳細な質問のマッピングにより、より詳細な学習の目的を導き出すことによって、学習の分野に寄与する。
関連論文リスト
- BloomWise: Enhancing Problem-Solving capabilities of Large Language Models using Bloom's-Taxonomy-Inspired Prompts [59.83547898874152]
我々は,Bloomの分類にインスパイアされた新しいプロンプト技術であるBloomWiseを導入し,Large Language Models(LLMs)の性能を向上させる。
より洗練された認知スキルを身につける必要性に関する決定は、LLMによる自己評価に基づいている。
4つの一般的な算数推論データセットの広範な実験において,提案手法の有効性を実証した。
論文 参考訳(メタデータ) (2024-10-05T09:27:52Z) - Knowledge Tagging with Large Language Model based Multi-Agent System [17.53518487546791]
本稿では,従来のアルゴリズムの限界に対処するマルチエージェントシステムについて検討する。
我々は,従来の手法が抱えていた課題を克服する上で,LLMベースのマルチエージェントシステムの可能性を強調した。
論文 参考訳(メタデータ) (2024-09-12T21:39:01Z) - Hierarchical Deconstruction of LLM Reasoning: A Graph-Based Framework for Analyzing Knowledge Utilization [30.349165483935682]
大規模言語モデル(LLM)が推論の知識をどのように利用するのかは、まだよく分かっていない。
我々は,DepthQAデータセットを開発し,質問を3つの深さに分解する: (i)概念的知識の想起, (ii)手続き的知識の適用, (iii)戦略的知識の分析。
差分パターンは、モデルのキャパシティとトレーニングデータ記憶の可能性にまたがって観察される。
論文 参考訳(メタデータ) (2024-06-27T19:29:36Z) - Knowledge Tagging System on Math Questions via LLMs with Flexible Demonstration Retriever [48.5585921817745]
大きな言語モデル(LLM)は知識タグ付けタスクを自動化するために使われる。
算数問題における知識タグ付けタスクに対するゼロショットと少数ショットの結果の強い性能を示す。
強化学習に基づくデモレトリバーの提案により,異なるサイズのLLMの潜在能力を活用できた。
論文 参考訳(メタデータ) (2024-06-19T23:30:01Z) - AI and Machine Learning for Next Generation Science Assessments [0.7416846035207727]
この章は、科学評価における人工知能(AI)と機械学習(ML)の変革的な役割に焦点を当てている。
論文は、概念学習からナレッジ・イン・ユースへのシフトを求めるK-12サイエンス教育フレームワークの議論から始まる。
本論文は,理科教育におけるMLベースアセスメントの現状の見直し,MLベース自動アセスメントにおける精度評価フレームワークの導入,今後の方向性と課題の議論という,3つの大きな目標を達成している。
論文 参考訳(メタデータ) (2024-04-23T01:39:20Z) - Automate Knowledge Concept Tagging on Math Questions with LLMs [48.5585921817745]
知識概念のタグ付けは、現代の知的教育応用において重要な役割を担っている。
伝統的に、これらの注釈は教育専門家の助けを借りて手作業で行われてきた。
本稿では,Large Language Models (LLM) を用いたタグ付けタスクの自動化について検討する。
論文 参考訳(メタデータ) (2024-03-26T00:09:38Z) - Empowering Private Tutoring by Chaining Large Language Models [87.76985829144834]
本研究は,最先端の大規模言語モデル(LLM)を活用した,本格的な知的チューリングシステムの開発を探求する。
このシステムは、相互に接続された3つのコアプロセス(相互作用、反射、反応)に分けられる。
各プロセスは LLM ベースのツールと動的に更新されたメモリモジュールによって実装される。
論文 参考訳(メタデータ) (2023-09-15T02:42:03Z) - SciBench: Evaluating College-Level Scientific Problem-Solving Abilities of Large Language Models [70.5763210869525]
拡張ベンチマークスイートSciBench for Large Language Model (LLM)を導入する。
SciBenchには、数学、化学、物理学の分野から、さまざまな大学レベルの科学的問題を含むデータセットが含まれている。
その結果、現在のLLMは満足のいく性能を達成できないことが判明し、全体のスコアは43.22%に過ぎなかった。
論文 参考訳(メタデータ) (2023-07-20T07:01:57Z) - The ILASP system for Inductive Learning of Answer Set Programs [79.41112438865386]
我々のシステムは、通常の規則、選択規則、厳しい制約を含むアンサーセットプログラムを学習する。
まず、ILASPの学習フレームワークとその機能の概要を説明します。
続いて、ILASPシステムの進化を概観する。
論文 参考訳(メタデータ) (2020-05-02T19:04:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。