論文の概要: Exploring Self-Reinforcement for Improving Learnersourced Multiple-Choice Question Explanations with Large Language Models

• arxiv url: http://arxiv.org/abs/2309.10444v2
• Date: Thu, 19 Oct 2023 11:01:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 19:07:50.109185
• Title: Exploring Self-Reinforcement for Improving Learnersourced Multiple-Choice Question Explanations with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた学習者支援型マルチチョイス質問説明の自己強化の検討
• Authors: Qiming Bao, Juho Leinonen, Alex Yuxuan Peng, Wanjun Zhong, Tim Pistotti, Alice Huang, Paul Denny, Michael Witbrock and Jiamou Liu
• Abstract要約: 本稿では,自己強化型大規模言語モデルフレームワークを提案する。 このフレームワークは, 学生による説明を生成し, これらの説明を評価し, その品質を確実にし, 説明を反復的に強化する。 評価のために,学生が生成した説明と,オープンソースの大言語モデルであるVicuna-13Bによる説明とを比較した。
• 参考スコア（独自算出の注目度）: 23.990783514143576
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Learnersourcing involves students generating and sharing learning resources with their peers. When learnersourcing multiple-choice questions, creating explanations for the generated questions is a crucial step as it facilitates a deeper understanding of the related concepts. However, it is often difficult for students to craft effective explanations due to limited subject understanding and a tendency to merely restate the question stem, distractors, and correct answer. To help scaffold this task, in this work we propose a self-reinforcement large-language-model framework, with the goal of generating and evaluating explanations automatically. Comprising three modules, the framework generates student-aligned explanations, evaluates these explanations to ensure their quality and iteratively enhances the explanations. If an explanation's evaluation score falls below a defined threshold, the framework iteratively refines and reassesses the explanation. Importantly, our framework emulates the manner in which students compose explanations at the relevant grade level. For evaluation, we had a human subject-matter expert compare the explanations generated by students with the explanations created by the open-source large language model Vicuna-13B, a version of Vicuna-13B that had been fine-tuned using our method, and by GPT-4. We observed that, when compared to other large language models, GPT-4 exhibited a higher level of creativity in generating explanations. We also found that explanations generated by GPT-4 were ranked higher by the human expert than both those created by the other models and the original student-created explanations. Our findings represent a significant advancement in enriching the learnersourcing experience for students and enhancing the capabilities of large language models in educational applications.
• Abstract（参考訳）: learnersourcingは、学生が仲間と学習リソースを生成、共有することです。 複数項目の質問を学習する場合、生成された質問の説明を作成することは、関連する概念をより深く理解するための重要なステップです。 しかし, 被験者の理解が限られており, 疑問の根幹, 気晴らし, 正解を単に再現する傾向があるため, 効果的な説明を学生が行うことはしばしば困難である。 そこで本研究では,説明を自動的に生成・評価することを目的として,自己強化型大規模言語モデルフレームワークを提案する。 このフレームワークは,3つのモジュールを構成し,学生による説明を生成し,これらの説明を評価し,その品質を保証し,説明を反復的に強化する。 説明の評価スコアが定義しきい値を下回ると、フレームワークは繰り返し説明を洗練し、再評価する。 重要な点として,本フレームワークは,学生が適切な学級レベルで説明を行う方法をエミュレートする。 評価のために,人間の被験者マッターの専門家に,学生が生成した説明と,オープンソースの大規模言語モデルvicuna-13b(vicuna-13bのバージョン)とgpt-4による説明を比較してもらった。 他の大きな言語モデルと比較すると、gpt-4は説明の生成において高い創造性を示した。 また, GPT-4による説明は, 他のモデルによる説明と, 学生による説明の両方よりも, 人間の専門家による評価が高かった。 本研究は,学習者の学習指導経験の充実と,大規模言語モデルの教育応用能力の向上に寄与する。

関連論文リスト

• From Feature Importance to Natural Language Explanations Using LLMs with RAG [4.204990010424084]
  大規模言語モデル(LLM)の応答に外部知識リポジトリを活用して,トレーサブルな質問応答を導入する。 この知識リポジトリは、高レベルの特徴、特徴の重要性、代替確率を含む、モデルの出力に関するコンテキストの詳細を含む。 社会的・因果的・選択的・コントラスト的な4つの重要な特徴を、人間の説明に関する社会科学研究から一発のプロンプトへと統合し、応答生成過程を導く。
  論文  参考訳（メタデータ） (2024-07-30T17:27:20Z)
• Evaluating and Optimizing Educational Content with Large Language Model Judgments [52.33701672559594]
  言語モデル(LM)を教育専門家として活用し,学習結果に対する様々な指導の影響を評価する。 本稿では,一方のLMが他方のLMの判断を報酬関数として利用して命令材料を生成する命令最適化手法を提案する。 ヒトの教師によるこれらのLM生成ワークシートの評価は、LM判定と人間の教師の嗜好との間に有意な整合性を示す。
  論文  参考訳（メタデータ） (2024-03-05T09:09:15Z)
• YODA: Teacher-Student Progressive Learning for Language Models [82.0172215948963]
  本稿では,教師が指導するプログレッシブ・ラーニング・フレームワークであるYodaを紹介する。 モデルファインチューニングの有効性を向上させるために,教師の教育過程をエミュレートする。 実験の結果, YODAのデータによるLLaMA2のトレーニングにより, SFTは大幅に向上した。
  論文  参考訳（メタデータ） (2024-01-28T14:32:15Z)
• Advancing Large Multi-modal Models with Explicit Chain-of-Reasoning and Visual Question Generation [34.45251681923171]
  本稿では,大規模視覚・言語モデル(VLM)の開発に向けた新しいアプローチを提案する。 本稿では,質問に対して必要な知識を習得し,推論プロセスの堅牢性と説明可能性を高めるシステムを提案する。 データセットは、キャプション生成のような一般的なタスクから、専門家の知識を必要とする専門的なVQAタスクまで、さまざまなタスクをカバーする。
  論文  参考訳（メタデータ） (2024-01-18T14:21:56Z)
• Assertion Enhanced Few-Shot Learning: Instructive Technique for Large Language Models to Generate Educational Explanations [0.0]
  人間の教育者は、生徒から教育的な説明を求め、予測する本質的な能力を持っている。 我々は,大規模言語モデルの少数ショット学習機能を用いて,インテリジェント・チューリング・システムを構築することを目的としている。
  論文  参考訳（メタデータ） (2023-12-05T20:41:34Z)
• Explanation-aware Soft Ensemble Empowers Large Language Model In-context Learning [50.00090601424348]
  大規模言語モデル(LLM)は、様々な自然言語理解タスクにおいて顕著な能力を示している。 我々は,LLMを用いたテキスト内学習を支援するための説明型ソフトアンサンブルフレームワークであるEASEを提案する。
  論文  参考訳（メタデータ） (2023-11-13T06:13:38Z)
• Automating question generation from educational text [1.9325905076281444]
  質問ベースの活動(QBA)の使用は、教育において広く普及しており、学習と評価プロセスの不可欠な部分を形成している。 学校における形式的・要約的評価のための自動質問生成ツールの設計と評価を行う。
  論文  参考訳（メタデータ） (2023-09-26T15:18:44Z)
• Complementary Explanations for Effective In-Context Learning [77.83124315634386]
  大規模言語モデル (LLM) は、説明のインプロンプトから学習する際、顕著な能力を示した。 この研究は、文脈内学習に説明が使用されるメカニズムをよりよく理解することを目的としている。
  論文  参考訳（メタデータ） (2022-11-25T04:40:47Z)
• Explanations from Large Language Models Make Small Reasoners Better [61.991772773700006]
  提案手法は, 異なる設定において, 微調整ベースラインを連続的に, 著しく向上させることができることを示す。 副次的な利点として、人間の評価は、その予測を正当化するために高品質な説明を生成することができることを示す。
  論文  参考訳（メタデータ） (2022-10-13T04:50:02Z)
• Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
  質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。 Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。 本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
  論文  参考訳（メタデータ） (2020-09-19T02:41:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。