論文の概要: Dr.Academy: A Benchmark for Evaluating Questioning Capability in Education for Large Language Models
- arxiv url: http://arxiv.org/abs/2408.10947v1
- Date: Tue, 20 Aug 2024 15:36:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 12:35:03.925936
- Title: Dr.Academy: A Benchmark for Evaluating Questioning Capability in Education for Large Language Models
- Title（参考訳）: Dr.Academy:大規模言語モデルの教育における質問能力評価のためのベンチマーク
- Authors: Yuyan Chen, Chenwei Wu, Songzhou Yan, Panjun Liu, Haoyu Zhou, Yanghua Xiao,
- Abstract要約: 本研究では,大規模言語モデル(LLM)の教師として教育における質問能力を評価するためのベンチマークを紹介する。
関連性, カバレッジ, 代表性, 一貫性の4つの指標を適用し, LLMのアウトプットの教育的品質を評価する。
以上の結果から, GPT-4は一般・人文・理科教育において有意な可能性を秘めていることが示唆された。
- 参考スコア（独自算出の注目度）: 30.759154473275043
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Teachers are important to imparting knowledge and guiding learners, and the role of large language models (LLMs) as potential educators is emerging as an important area of study. Recognizing LLMs' capability to generate educational content can lead to advances in automated and personalized learning. While LLMs have been tested for their comprehension and problem-solving skills, their capability in teaching remains largely unexplored. In teaching, questioning is a key skill that guides students to analyze, evaluate, and synthesize core concepts and principles. Therefore, our research introduces a benchmark to evaluate the questioning capability in education as a teacher of LLMs through evaluating their generated educational questions, utilizing Anderson and Krathwohl's taxonomy across general, monodisciplinary, and interdisciplinary domains. We shift the focus from LLMs as learners to LLMs as educators, assessing their teaching capability through guiding them to generate questions. We apply four metrics, including relevance, coverage, representativeness, and consistency, to evaluate the educational quality of LLMs' outputs. Our results indicate that GPT-4 demonstrates significant potential in teaching general, humanities, and science courses; Claude2 appears more apt as an interdisciplinary teacher. Furthermore, the automatic scores align with human perspectives.
- Abstract（参考訳）: 教師は、知識の付与と学習指導に重要であり、潜在的教育者としての大きな言語モデル(LLM)の役割が重要な研究分野として浮上している。
教育コンテンツを生成するLLMの能力を認識することは、自動化およびパーソナライズされた学習の進歩につながる可能性がある。
LLMは理解力と問題解決能力のためにテストされてきたが、教育におけるその能力はほとんど解明されていない。
教育において、質問は学生に中核的な概念や原則を分析し、評価し、合成させるための重要なスキルである。
そこで本研究では、アンダーソンとクラスフォールの分類学を一般分野、単科領域、学際領域にまたがって評価し、LLMの教師としての教育における質問能力を評価するためのベンチマークを提案する。
学習者としてのLLMから、教育者としてのLLMに焦点を移し、質問を導き、その指導能力を評価する。
関連性, カバレッジ, 代表性, 一貫性の4つの指標を適用し, LLMのアウトプットの教育的品質を評価する。
以上の結果から, GPT-4は一般・人文・理科教育において有意な可能性を秘めていることが示唆された。
さらに、自動スコアは人間の視点と一致します。
関連論文リスト
- Students Rather Than Experts: A New AI For Education Pipeline To Model More Human-Like And Personalised Early Adolescences [11.576679362717478]
本研究は,仮想学生エージェントをモデル化するための文脈としての言語学習に焦点を当てた。
教師と生徒の個人的交流のデータセットを様々な性格特性でキュレートすることにより,多次元的評価実験を行う。
論文 参考訳（メタデータ） (2024-10-21T07:18:24Z) - Edu-Values: Towards Evaluating the Chinese Education Values of Large Language Models [9.761584874383873]
大規模言語モデルのアライメント能力を測定するために設計された,中国初の教育価値評価ベンチマークであるEdu-Valuesを提案する。
我々は,複数の選択,多モーダルな質問応答,主観的分析,敵対的プロンプト,伝統的な中国文化に関する質問など,1,418の質問を慎重に設計・コンパイルする。
教育文化の相違により、中国語のLLMは英語のLLMを大きく上回り、Qwen 2は81.37でランクインした。
論文 参考訳（メタデータ） (2024-09-19T13:02:54Z) - Automated Educational Question Generation at Different Bloom's Skill Levels using Large Language Models: Strategies and Evaluation [0.0]
我々は,5つの最先端の大規模言語モデルを用いて,認知レベルの多様で高品質な質問を生成する能力について検討した。
以上の結果から,LLmsは適切な情報によって認知レベルが異なる関連性のある,高品質な教育的質問を生じさせる可能性が示唆された。
論文 参考訳（メタデータ） (2024-08-08T11:56:57Z) - LOVA3: Learning to Visual Question Answering, Asking and Assessment [61.51687164769517]
質問への回答、質問、評価は、世界を理解し、知識を得るのに不可欠な3つの人間の特性である。
現在のMLLM(Multimodal Large Language Models)は主に質問応答に焦点を当てており、質問や評価スキルの可能性を無視することが多い。
LOVA3は、"Learning tO Visual Question Answering, Asking and Assessment"と名付けられた革新的なフレームワークである。
論文 参考訳（メタデータ） (2024-05-23T18:21:59Z) - Enhancing Instructional Quality: Leveraging Computer-Assisted Textual
Analysis to Generate In-Depth Insights from Educational Artifacts [13.617709093240231]
本研究では、人工知能(AI)と機械学習(ML)が教育内容、教師の談話、学生の反応を分析して教育改善を促進する方法について検討する。
私たちは、教師のコーチング、学生のサポート、コンテンツ開発など、AI/ML統合が大きな利点をもたらす重要な領域を特定します。
本稿では,AI/ML技術と教育的目標との整合性の重要性を強調し,その教育的可能性を実現する。
論文 参考訳（メタデータ） (2024-03-06T18:29:18Z) - Evaluating and Optimizing Educational Content with Large Language Model Judgments [52.33701672559594]
言語モデル(LM)を教育専門家として活用し,学習結果に対する様々な指導の影響を評価する。
本稿では,一方のLMが他方のLMの判断を報酬関数として利用して命令材料を生成する命令最適化手法を提案する。
ヒトの教師によるこれらのLM生成ワークシートの評価は、LM判定と人間の教師の嗜好との間に有意な整合性を示す。
論文 参考訳（メタデータ） (2024-03-05T09:09:15Z) - Adapting Large Language Models for Education: Foundational Capabilities, Potentials, and Challenges [60.62904929065257]
大規模言語モデル(LLM)は、個々の要求を解釈することでこの問題を解決する可能性を提供する。
本稿では, 数学, 文章, プログラミング, 推論, 知識に基づく質問応答など, 教育能力に関する最近のLLM研究を概観する。
論文 参考訳（メタデータ） (2023-12-27T14:37:32Z) - Impact of Guidance and Interaction Strategies for LLM Use on Learner Performance and Perception [19.335003380399527]
大規模言語モデル(LLM)は、その教育的有用性を探求する研究の増加とともに、有望な道を提供する。
本研究は,LLM支援学習環境の形成において,教師が果たす役割を強調した。
論文 参考訳（メタデータ） (2023-10-13T01:21:52Z) - Exploring the Cognitive Knowledge Structure of Large Language Models: An
Educational Diagnostic Assessment Approach [50.125704610228254]
大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。
近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。
ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
論文 参考訳（メタデータ） (2023-10-12T09:55:45Z) - A Survey on Evaluation of Large Language Models [87.60417393701331]
大規模言語モデル(LLM)は、学術と産業の両方で人気が高まっている。
本稿では,評価方法,評価方法,評価方法の3つの重要な側面に焦点をあてる。
論文 参考訳（メタデータ） (2023-07-06T16:28:35Z) - Do Large Language Models Know What They Don't Know? [74.65014158544011]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに優れた知識を持つ。
膨大な知識にもかかわらず、LLMはそれらが適合し理解できる情報の量によって制限されている。
本研究の目的は,LLMの自己理解能力を評価することである。
論文 参考訳（メタデータ） (2023-05-29T15:30:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。