論文の概要: MathDial: A Dialogue Tutoring Dataset with Rich Pedagogical Properties Grounded in Math Reasoning Problems

• arxiv url: http://arxiv.org/abs/2305.14536v1
• Date: Tue, 23 May 2023 21:44:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 21:35:03.630349
• Title: MathDial: A Dialogue Tutoring Dataset with Rich Pedagogical Properties Grounded in Math Reasoning Problems
• Title（参考訳）: MathDial: 数学推論問題に根ざした豊富な教育特性を持つ対話学習データセット
• Authors: Jakub Macina, Nico Daheim, Sankalan Pal Chowdhury, Tanmay Sinha, Manu Kapur, Iryna Gurevych, Mrinmaya Sachan
• Abstract要約: そこで本研究では,学生の誤りを表わすために,実際の教師と大規模言語モデル(LLM)をペアリングすることで,このような対話を半合成的に生成するフレームワークを提案する。 我々のデータセットは、学生に問題を探らせるために、センスメイキングの質問を用いた指導に重点を置いて、豊かな教育的特性を示す。 NLPのこの社会的に重要な分野の研究を促進するために、我々のデータセットを公開します。
• 参考スコア（独自算出の注目度）: 52.32063791637303
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although automatic dialogue tutors hold great potential in making education personalized and more accessible, research on such systems has been hampered by a lack of sufficiently large and high-quality datasets. However, collecting such datasets remains challenging, as recording tutoring sessions raises privacy concerns and crowdsourcing leads to insufficient data quality. To address this problem, we propose a framework to semi-synthetically generate such dialogues by pairing real teachers with a large language model (LLM) scaffolded to represent common student errors. In this paper, we describe our ongoing efforts to use this framework to collect MathDial, a dataset of currently ca. 1.5k tutoring dialogues grounded in multi-step math word problems. We show that our dataset exhibits rich pedagogical properties, focusing on guiding students using sense-making questions to let them explore problems. Moreover, we outline that MathDial and its grounding annotations can be used to finetune language models to be more effective tutors (and not just solvers) and highlight remaining challenges that need to be addressed by the research community. We will release our dataset publicly to foster research in this socially important area of NLP.
• Abstract（参考訳）: 自動対話学習は、教育をパーソナライズし、アクセスしやすくする大きな可能性を秘めているが、そのようなシステムの研究は、十分に大規模で高品質なデータセットが不足しているために妨げられている。 しかし、学習セッションの記録がプライバシーの懸念を引き起こし、クラウドソーシングがデータ品質の不足につながるため、このようなデータセットの収集は依然として困難である。 そこで本研究では,実際の教師と,一般的な学生エラーを表現するために構築された大規模言語モデル(llm)の足場を組み合わせることで,半合成的に対話を生成できる枠組みを提案する。 本稿では,このフレームワークを用いて現在進行中のデータセットであるMathDialを収集する取り組みについて述べる。 多段階の数学用語問題に基づく1.5kの指導対話。 我々のデータセットは、学生が問題を探るためのセンスメイキングの質問を指導することに焦点を当て、豊かな教育特性を示す。 さらに、MathDialとその基盤となるアノテーションは、言語モデルをより効果的なチューター(問題解決者だけでなく)として微調整し、研究コミュニティが取り組まなければならない課題を強調します。 NLPのこの社会的に重要な分野の研究を促進するために、我々のデータセットを公開します。

関連論文リスト

• Stepwise Verification and Remediation of Student Reasoning Errors with Large Language Model Tutors [78.53699244846285]
  大規模言語モデル(LLM)は、高品質なパーソナライズされた教育を全員に拡大する機会を提供する。 LLMは、学生のエラーを正確に検知し、これらのエラーに対するフィードバックを調整するのに苦労する。 教師が学生の誤りを識別し、それに基づいて回答をカスタマイズする現実世界の教育実践に触発され、我々は学生ソリューションの検証に焦点をあてる。
  論文  参考訳（メタデータ） (2024-07-12T10:11:40Z)
• Covering Uncommon Ground: Gap-Focused Question Generation for Answer Assessment [75.59538732476346]
  このようなギャップに着目した質問(GFQ)を自動生成する問題に着目する。 タスクを定義し、優れたGFQの所望の側面を強調し、これらを満たすモデルを提案する。
  論文  参考訳（メタデータ） (2023-07-06T22:21:42Z)
• Can Language Models Teach Weaker Agents? Teacher Explanations Improve Students via Personalization [84.86241161706911]
  教師のLLMは、実際に生徒の推論に介入し、パフォーマンスを向上させることができることを示す。 また,マルチターンインタラクションでは,教師による説明が一般化され,説明データから学習されることを示す。 教師のミスアライメントが学生の成績をランダムな確率に低下させることを、意図的に誤解させることで検証する。
  論文  参考訳（メタデータ） (2023-06-15T17:27:20Z)
• Opportunities and Challenges in Neural Dialog Tutoring [54.07241332881601]
  言語学習のための2つの対話学習データセットを用いて、様々な生成言語モデルを厳密に分析する。 現在のアプローチでは、制約のある学習シナリオでチューリングをモデル化できますが、制約の少ないシナリオではパフォーマンスが悪くなります。 人的品質評価では, モデルと接地木アノテーションの両方が, 同等のチュータリングの点で低い性能を示した。
  論文  参考訳（メタデータ） (2023-01-24T11:00:17Z)
• Computationally Identifying Funneling and Focusing Questions in Classroom Discourse [24.279653100481863]
  本稿では,授業談話におけるファネリングと集中型質問を計算的に検出するタスクを提案する。 ファネリングと集中型質問にラベル付けされた2,348の教師発話の注釈付きデータセットをリリースする。 我々の最高のモデルである教師付きRoBERTaモデルは、データセットに微調整され、人間の専門家ラベルと.76の強い線形相関と、ポジティブな教育結果を持つ。
  論文  参考訳（メタデータ） (2022-07-08T01:28:29Z)
• The AI Teacher Test: Measuring the Pedagogical Ability of Blender and GPT-3 in Educational Dialogues [5.424153769988429]
  本稿では,AI教師試験の最初の試みについて報告する。 私たちは、現実世界の対話において、人間の教師と並行して会話エージェントを実行することができるという洞察に基づいて、ソリューションを構築しました。 本手法は,教育における比較判断の信頼性を基盤として,確率モデルとベイジアンサンプリングを用いて教育能力の推定を行う。
  論文  参考訳（メタデータ） (2022-05-16T09:36:30Z)
• Neural Multi-Task Learning for Teacher Question Detection in Online Classrooms [50.19997675066203]
  教師の音声記録から質問を自動的に検出するエンドツーエンドのニューラルネットワークフレームワークを構築している。 マルチタスク学習手法を取り入れることで,質問の種類によって意味的関係の理解を深めることが可能となる。
  論文  参考訳（メタデータ） (2020-05-16T02:17:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。