Fugu-MT 論文翻訳(概要): Opportunities and Challenges in Neural Dialog Tutoring

論文の概要: Opportunities and Challenges in Neural Dialog Tutoring

arxiv url: http://arxiv.org/abs/2301.09919v1
Date: Tue, 24 Jan 2023 11:00:17 GMT
ステータス: 翻訳完了
システム内更新日: 2023-01-25 13:51:52.833093
Title: Opportunities and Challenges in Neural Dialog Tutoring
Title（参考訳）: ニューラルダイアログチューニングの可能性と課題
Authors: Jakub Macina, Nico Daheim, Lingzhi Wang, Tanmay Sinha, Manu Kapur, Iryna Gurevych, Mrinmaya Sachan
Abstract要約: 言語学習のための2つの対話学習データセットを用いて、様々な生成言語モデルを厳密に分析する。現在のアプローチでは、制約のある学習シナリオでチューリングをモデル化できますが、制約の少ないシナリオではパフォーマンスが悪くなります。人的品質評価では, モデルと接地木アノテーションの両方が, 同等のチュータリングの点で低い性能を示した。
参考スコア（独自算出の注目度）: 54.07241332881601
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Designing dialog tutors has been challenging as it involves modeling the diverse and complex pedagogical strategies employed by human tutors. Although there have been significant recent advances in neural conversational systems using large language models and growth in available dialog corpora, dialog tutoring has largely remained unaffected by these advances. In this paper, we rigorously analyze various generative language models on two dialog tutoring datasets for language learning using automatic and human evaluations to understand the new opportunities brought by these advances as well as the challenges we must overcome to build models that would be usable in real educational settings. We find that although current approaches can model tutoring in constrained learning scenarios when the number of concepts to be taught and possible teacher strategies are small, they perform poorly in less constrained scenarios. Our human quality evaluation shows that both models and ground-truth annotations exhibit low performance in terms of equitable tutoring, which measures learning opportunities for students and how engaging the dialog is. To understand the behavior of our models in a real tutoring setting, we conduct a user study using expert annotators and find a significantly large number of model reasoning errors in 45% of conversations. Finally, we connect our findings to outline future work.
Abstract（参考訳）: ダイアログ・チューターの設計は、人間のチューターが採用する多様で複雑な教育戦略をモデル化する。近年,大きな言語モデルを用いたニューラルな会話システムや対話コーパスの成長が著しく進んでいるが,ダイアログ学習はこれらの進歩に大きく影響を受けていない。本稿では,これらの進歩によってもたらされる新たな機会を理解するために,言語学習のための2つのダイアログ学習データセット上で,様々な生成言語モデルを厳密に解析し,実際の教育環境において使用可能なモデルを構築する上での課題について考察する。現在のアプローチは、指導すべき概念の数や可能な教師戦略が小さい場合、制約のある学習シナリオで学習をモデル化できるが、制約の少ないシナリオでは成績が悪い。人的品質評価は,学生の学習機会を測り,ダイアログのエンゲージメントの程度を測る等式学習において,モデルと地味アノテーションの両方が低い性能を示すことを示している。実際の学習環境でのモデルの振る舞いを理解するため,専門家アノテータを用いたユーザスタディを行い,会話の45%でモデル推論エラーを著しく多く発見する。最後に,今後の成果の概要をまとめる。

関連論文リスト

MathTutorBench: A Benchmark for Measuring Open-ended Pedagogical Capabilities of LLM Tutors [76.1634959528817]
我々は、総合的なチューリングモデル評価のためのオープンソースのベンチマークであるMathTutorBenchを紹介する。 MathTutorBenchには、ダイアログベースの教育における科学の研究によって定義された、家庭教師の能力をカバーするデータセットとメトリクスが含まれている。閉鎖的およびオープンウェイトなモデルの幅広いセットを評価し、問題解決能力によって示される課題の専門知識が、すぐには良い教育に変換されないことを発見した。
論文参考訳（メタデータ） (2025-02-26T08:43:47Z)
Enhancing Talk Moves Analysis in Mathematics Tutoring through Classroom Teaching Discourse [6.1701318546149]
本稿では,会話の動きを用いた数学の授業内容の分析に焦点をあてる。機械学習モデルを開発するために、広範な学習対話の収集、アノテーション、分析をスケールすることは、困難でリソース集約的なタスクである。
論文参考訳（メタデータ） (2024-12-18T00:13:04Z)
Exploring Knowledge Tracing in Tutor-Student Dialogues [53.52699766206808]
本稿では,教師と学生の対話における知識追跡(KT)の最初の試みについて述べる。そこで本研究では,対話の各ターンに係わる知識コンポーネントやスキルを同定する手法を提案する。次に,得られたラベル付きデータに様々なKT手法を適用し,対話全体を通して学生の知識レベルを追跡する。
論文参考訳（メタデータ） (2024-09-24T22:31:39Z)
Large Language Model based Situational Dialogues for Second Language Learning [7.450328495455734]
第二言語学習において、シナリオベースの会話実践は、言語学習者が話し言葉の流布を達成するために重要である。このギャップを埋めるために,学生が会話の実践を行うための状況対話モデルを提案する。我々の状況対話モデルは大規模言語モデル(LLM)に基づいて微調整されており、オープンエンド会話の係り受け性とシナリオベースタスクの焦点を合わせることを目的としている。
論文参考訳（メタデータ） (2024-03-29T06:43:55Z)
FutureTOD: Teaching Future Knowledge to Pre-trained Language Model for Task-Oriented Dialogue [20.79359173822053]
本稿では,対話前学習モデルFutureTODを提案する。我々の直感は、良い対話表現はどちらも局所的な文脈情報を学び、将来の情報を予測することである。
論文参考訳（メタデータ） (2023-06-17T10:40:07Z)
MathDial: A Dialogue Tutoring Dataset with Rich Pedagogical Properties Grounded in Math Reasoning Problems [74.73881579517055]
そこで本稿では,一般学生の誤りを表現した大規模言語モデルを用いて,人間教師の対話を生成する枠組みを提案する。このフレームワークを用いて3kの1対1の教師-学生対話のデータセットであるMathDialを収集する方法について述べる。
論文参考訳（メタデータ） (2023-05-23T21:44:56Z)
Few-Shot Structured Policy Learning for Multi-Domain and Multi-Task Dialogues [0.716879432974126]
グラフニューラルネットワーク(GNN)は、シミュレーション専門家から学ぶ際に、わずか50の対話で80%以上の成功率に達することで、顕著な優位性を示している。我々は,対話フレームワークにおける人的データ,シミュレータ,自動評価器のギャップを埋めることに,今後の研究努力を集中させることを提案する。
論文参考訳（メタデータ） (2023-02-22T08:18:49Z)
Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
論文参考訳（メタデータ） (2023-02-12T15:05:10Z)
Improving mathematical questioning in teacher training [1.794107419334178]
高忠実でAIに基づくシミュレートされた教室システムにより、教師は効果的な教育戦略をリハーサルすることができる。本稿では,教師が数学的質問のスキルを実践するのを支援するために,テキストベースの対話型エージェントを構築した。
論文参考訳（メタデータ） (2021-12-02T05:33:03Z)
Advances in Multi-turn Dialogue Comprehension: A Survey [51.215629336320305]
対話モデリングの観点から,従来の手法を検討した。対話理解タスクで広く使用されている対話モデリングの3つの典型的なパターンについて議論します。
論文参考訳（メタデータ） (2021-03-04T15:50:17Z)
Learning from Easy to Complex: Adaptive Multi-curricula Learning for Neural Dialogue Generation [40.49175137775255]
現在の最先端のニューラルダイアログシステムは、主にデータ駆動であり、人為的な応答に基づいて訓練されている。組織されたカリキュラムの委員会をスケジュールするための適応型多言語学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-03-02T03:09:28Z)
Low-Resource Knowledge-Grounded Dialogue Generation [74.09352261943913]
我々は、限られた訓練例しか利用できないという自然な仮定のもと、知識基底による対話生成を考察する。生成モデル全体から知識基底の対話に依存するパラメータを分離するために,不整合応答デコーダを考案する。 1/8のトレーニングデータだけで、我々のモデルは最先端のパフォーマンスを達成でき、ドメイン外の知識をうまく一般化できる。
論文参考訳（メタデータ） (2020-02-24T16:20:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。