論文の概要: Towards the Pedagogical Steering of Large Language Models for Tutoring: A Case Study with Modeling Productive Failure

• arxiv url: http://arxiv.org/abs/2410.03781v1
• Date: Thu, 3 Oct 2024 16:15:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 16:20:48.044153
• Title: Towards the Pedagogical Steering of Large Language Models for Tutoring: A Case Study with Modeling Productive Failure
• Title（参考訳）: 学習用大規模言語モデルの教育的ステアリングに向けて:生産的失敗をモデル化したケーススタディ
• Authors: Romain Puech, Jakub Macina, Julia Chatain, Mrinmaya Sachan, Manu Kapur,
• Abstract要約: 1対1の授業は、最も効果的な教育方法の1つである。 先進的で効果的な学習設計であるProductive Failure (PF) に倣って, 高校数学のプロトタイプチューターを作成する。 我々は,StratLがLLMの運営に成功し,生産的失敗の学習戦略に従うことを定量的に示す。
• 参考スコア（独自算出の注目度）: 36.83786872708736
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: One-to-one tutoring is one of the most efficient methods of teaching. Following the rise in popularity of Large Language Models (LLMs), there have been efforts to use them to create conversational tutoring systems, which can make the benefits of one-to-one tutoring accessible to everyone. However, current LLMs are primarily trained to be helpful assistants and thus lack crucial pedagogical skills. For example, they often quickly reveal the solution to the student and fail to plan for a richer multi-turn pedagogical interaction. To use LLMs in pedagogical scenarios, they need to be steered towards using effective teaching strategies: a problem we introduce as Pedagogical Steering and believe to be crucial for the efficient use of LLMs as tutors. We address this problem by formalizing a concept of tutoring strategy, and introducing StratL, an algorithm to model a strategy and use prompting to steer the LLM to follow this strategy. As a case study, we create a prototype tutor for high school math following Productive Failure (PF), an advanced and effective learning design. To validate our approach in a real-world setting, we run a field study with 17 high school students in Singapore. We quantitatively show that StratL succeeds in steering the LLM to follow a Productive Failure tutoring strategy. We also thoroughly investigate the existence of spillover effects on desirable properties of the LLM, like its ability to generate human-like answers. Based on these results, we highlight the challenges in Pedagogical Steering and suggest opportunities for further improvements. We further encourage follow-up research by releasing a dataset of Productive Failure problems and the code of our prototype and algorithm.
• Abstract（参考訳）: 1対1の授業は、最も効果的な教育方法の1つである。 LLM(Large Language Models)の人気が高まり、対話型チューリングシステムの構築に利用しようとする動きが相次いだ。 しかし、現在のLLMは主にアシスタントとして訓練されているため、重要な教育スキルが欠如している。 例えば、彼らはしばしば生徒の解決策を素早く明らかにし、よりリッチなマルチターンの教育的相互作用を計画するのに失敗する。 LLMを教育的シナリオで使用するには、効果的な教育戦略の活用に傾倒する必要がある: 教育的ステアリング(Pedagogical Steering)として導入する問題であり、LLMを家庭教師として効率的に活用するためには不可欠である。 本稿では、学習戦略の概念を定式化し、戦略をモデル化し、この戦略に従うためにLPMを操縦するアルゴリズムであるStratLを導入することで、この問題に対処する。 ケーススタディとして,先進的で効果的な学習設計であるProductive Failure (PF) に続く,高校数学のプロトタイプチューターを作成する。 実世界の環境でのアプローチを検証するため,シンガポールの17人の高校生を対象に,フィールドスタディを実施している。 我々は,StratLがLLMの運営に成功し,生産的失敗の学習戦略に従うことを定量的に示す。 また,LLMの望ましい性質,例えば人間的な回答を生成する能力に対する流出効果の存在について,徹底的に検討した。 これらの結果に基づいて、教育ステアリングにおける課題を強調し、さらなる改善の機会を提案する。 プロトタイプとアルゴリズムのコードと生産的失敗問題のデータセットをリリースすることによって、フォローアップリサーチをさらに奨励します。

関連論文リスト

• Position: LLMs Can be Good Tutors in Foreign Language Education [87.88557755407815]
  我々は、外国語教育(FLE)において、大きな言語モデル(LLM)が効果的な家庭教師として機能する可能性を主張する。 具体的には、(1)データエンハンサーとして、(2)学習教材の作成や学生シミュレーションとして、(2)タスク予測器として、学習者の評価や学習経路の最適化に、(3)エージェントとして、そして、パーソナライズされた包括的教育を可能にする3つの重要な役割を果たせる。
  論文  参考訳（メタデータ） (2025-02-08T06:48:49Z)
• Exploring Knowledge Tracing in Tutor-Student Dialogues using LLMs [49.18567856499736]
  本研究では,大規模言語モデル(LLM)が対話学習を支援することができるかどうかを検討する。 我々は,学習者の知識レベルを対話全体にわたって追跡するために,ラベル付きデータに知識追跡(KT)手法を適用した。 我々は,2つの学習対話データセットの実験を行い,従来のKT手法よりも学生の反応の正しさを予測できる新しいLCM-based method LLMKTが優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-24T22:31:39Z)
• Using Advanced LLMs to Enhance Smaller LLMs: An Interpretable Knowledge Distillation Approach [6.154304269581415]
  高度な大規模言語モデル(LLM)は、複雑な人間のような相互作用において優れた性能を提供する。 LLMは高価で、スマートフォンのようなエッジデバイスには大きすぎるし、セルフホストが難しいため、セキュリティやプライバシーの懸念が生じる。 本稿では,より小型で経済的なLLMの性能を高めるために,新しい解釈可能な知識蒸留手法を提案する。
  論文  参考訳（メタデータ） (2024-08-13T23:59:36Z)
• Enhancing Computer Programming Education with LLMs: A Study on Effective Prompt Engineering for Python Code Generation [6.267144136593821]
  大規模言語モデル(LLM)とプロンプトエンジニアリングは、パーソナライズされた教育を通じてコンピュータプログラミング教育を前進させる大きな可能性を秘めている。 本稿では, 多様な教育ニーズに合わせた迅速な技術戦略の体系的分類, LLMの本来の能力を超えた複雑な問題を解決する能力の強化, これらの戦略の評価と実装のための堅牢な枠組みの確立, の3つの重要な研究課題について考察する。 GPT-4o, GPT-4o, Llama3-8b, Mixtral-8x7b を用いたLeetCode や USACO などのデータセットによる実験により, GPT-4o は特に "multi-step" で他より一貫して優れていることが明らかになった。
  論文  参考訳（メタデータ） (2024-07-07T16:41:07Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• AutoTutor meets Large Language Models: A Language Model Tutor with Rich Pedagogy and Guardrails [43.19453208130667]
  大規模言語モデル(LLM)は、自動質問生成からエッセイ評価まで、いくつかのユースケースを教育で発見した。 本稿では,Large Language Models (LLMs) を用いて知的チューリングシステムを構築する可能性について検討する。 MWPTutor は LLM を用いて事前定義された有限状態トランスデューサの状態空間を補う。
  論文  参考訳（メタデータ） (2024-02-14T14:53:56Z)
• Mutual Enhancement of Large Language and Reinforcement Learning Models through Bi-Directional Feedback Mechanisms: A Case Study [1.3597551064547502]
  我々は,大規模言語モデル(LLM)と強化学習(RL)モデルの課題に対処するために,教師による学習フレームワークを採用している。 この枠組みの中で、LLMは教師として、RLモデルは学生として機能する。 本手法の有効性を評価するために,この問題に対処し,実証実験を行うための実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-12T14:35:57Z)
• Democratizing Reasoning Ability: Tailored Learning from Large Language Model [97.4921006089966]
  そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。 対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。 より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:50:10Z)
• Impact of Guidance and Interaction Strategies for LLM Use on Learner Performance and Perception [19.335003380399527]
  大規模言語モデル(LLM)は、その教育的有用性を探求する研究の増加とともに、有望な道を提供する。 本研究は,LLM支援学習環境の形成において,教師が果たす役割を強調した。
  論文  参考訳（メタデータ） (2023-10-13T01:21:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。