論文の概要: Opportunities and Challenges in Neural Dialog Tutoring

• arxiv url: http://arxiv.org/abs/2301.09919v1
• Date: Tue, 24 Jan 2023 11:00:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-25 13:51:52.833093
• Title: Opportunities and Challenges in Neural Dialog Tutoring
• Title（参考訳）: ニューラルダイアログチューニングの可能性と課題
• Authors: Jakub Macina, Nico Daheim, Lingzhi Wang, Tanmay Sinha, Manu Kapur, Iryna Gurevych, Mrinmaya Sachan
• Abstract要約: 言語学習のための2つの対話学習データセットを用いて、様々な生成言語モデルを厳密に分析する。 現在のアプローチでは、制約のある学習シナリオでチューリングをモデル化できますが、制約の少ないシナリオではパフォーマンスが悪くなります。 人的品質評価では, モデルと接地木アノテーションの両方が, 同等のチュータリングの点で低い性能を示した。
• 参考スコア（独自算出の注目度）: 54.07241332881601
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Designing dialog tutors has been challenging as it involves modeling the diverse and complex pedagogical strategies employed by human tutors. Although there have been significant recent advances in neural conversational systems using large language models and growth in available dialog corpora, dialog tutoring has largely remained unaffected by these advances. In this paper, we rigorously analyze various generative language models on two dialog tutoring datasets for language learning using automatic and human evaluations to understand the new opportunities brought by these advances as well as the challenges we must overcome to build models that would be usable in real educational settings. We find that although current approaches can model tutoring in constrained learning scenarios when the number of concepts to be taught and possible teacher strategies are small, they perform poorly in less constrained scenarios. Our human quality evaluation shows that both models and ground-truth annotations exhibit low performance in terms of equitable tutoring, which measures learning opportunities for students and how engaging the dialog is. To understand the behavior of our models in a real tutoring setting, we conduct a user study using expert annotators and find a significantly large number of model reasoning errors in 45% of conversations. Finally, we connect our findings to outline future work.
• Abstract（参考訳）: ダイアログ・チューターの設計は、人間のチューターが採用する多様で複雑な教育戦略をモデル化する。 近年,大きな言語モデルを用いたニューラルな会話システムや対話コーパスの成長が著しく進んでいるが,ダイアログ学習はこれらの進歩に大きく影響を受けていない。 本稿では,これらの進歩によってもたらされる新たな機会を理解するために,言語学習のための2つのダイアログ学習データセット上で,様々な生成言語モデルを厳密に解析し,実際の教育環境において使用可能なモデルを構築する上での課題について考察する。 現在のアプローチは、指導すべき概念の数や可能な教師戦略が小さい場合、制約のある学習シナリオで学習をモデル化できるが、制約の少ないシナリオでは成績が悪い。 人的品質評価は,学生の学習機会を測り,ダイアログのエンゲージメントの程度を測る等式学習において,モデルと地味アノテーションの両方が低い性能を示すことを示している。 実際の学習環境でのモデルの振る舞いを理解するため,専門家アノテータを用いたユーザスタディを行い,会話の45%でモデル推論エラーを著しく多く発見する。 最後に,今後の成果の概要をまとめる。

関連論文リスト

• DialogZoo: Large-Scale Dialog-Oriented Task Learning [52.18193690394549]
  我々は,多種多様な対話課題を解くための統合基盤モデルの構築を目指している。 この目的を達成するために、73の公開データセットから、まず大規模なラベル付き対話データセットを収集する。
  論文  参考訳（メタデータ） (2022-05-25T11:17:16Z)
• Improving mathematical questioning in teacher training [1.794107419334178]
  高忠実でAIに基づくシミュレートされた教室システムにより、教師は効果的な教育戦略をリハーサルすることができる。 本稿では,教師が数学的質問のスキルを実践するのを支援するために,テキストベースの対話型エージェントを構築した。
  論文  参考訳（メタデータ） (2021-12-02T05:33:03Z)
• Response Generation with Context-Aware Prompt Learning [19.340498579331555]
  本稿では,対話生成問題を素早い学習課題とする,事前学習型対話モデリングのための新しい手法を提案する。 限られた対話データを微調整する代わりに、我々のアプローチであるDialogPromptは、対話コンテキストに最適化された連続的なプロンプト埋め込みを学習する。 提案手法は,微調整ベースラインと汎用的なプロンプト学習法を著しく上回っている。
  論文  参考訳（メタデータ） (2021-11-04T05:40:13Z)
• Multi-Task Learning based Online Dialogic Instruction Detection with Pre-trained Language Models [34.66425105076059]
  コントラッシブ・ロスによりカテゴリ間のマージンを大きくすることで、異なるクラスのインスタンスを識別する能力を向上するマルチタスク・パラダイムを提案する。 実世界のオンライン教育データセットを用いた実験により,本手法が代表的ベースラインよりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2021-07-15T04:57:57Z)
• A Short Survey of Pre-trained Language Models for Conversational AI-A NewAge in NLP [17.10418053437171]
  最近導入された事前学習言語モデルは、データ不足の問題に対処する可能性がある。 これらのモデルは、階層的関係、長期依存、感情など、異なる言語の側面を捉えることを実証している。 本論文では,これらの事前学習モデルが対話システムに関連する課題を克服できるかどうかを明らかにする。
  論文  参考訳（メタデータ） (2021-04-22T01:00:56Z)
• Advances in Multi-turn Dialogue Comprehension: A Survey [51.215629336320305]
  対話モデリングの観点から,従来の手法を検討した。 対話理解タスクで広く使用されている対話モデリングの3つの典型的なパターンについて議論します。
  論文  参考訳（メタデータ） (2021-03-04T15:50:17Z)
• Ranking Enhanced Dialogue Generation [77.8321855074999]
  対話履歴を効果的に活用する方法は、マルチターン対話生成において重要な問題である。 これまでの研究は通常、歴史をモデル化するために様々なニューラルネットワークアーキテクチャを使用していた。 本稿では,ランキング拡張対話生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-13T01:49:56Z)
• Neural Multi-Task Learning for Teacher Question Detection in Online Classrooms [50.19997675066203]
  教師の音声記録から質問を自動的に検出するエンドツーエンドのニューラルネットワークフレームワークを構築している。 マルチタスク学習手法を取り入れることで,質問の種類によって意味的関係の理解を深めることが可能となる。
  論文  参考訳（メタデータ） (2020-05-16T02:17:04Z)
• Learning from Easy to Complex: Adaptive Multi-curricula Learning for Neural Dialogue Generation [40.49175137775255]
  現在の最先端のニューラルダイアログシステムは、主にデータ駆動であり、人為的な応答に基づいて訓練されている。 組織されたカリキュラムの委員会をスケジュールするための適応型多言語学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-02T03:09:28Z)
• Low-Resource Knowledge-Grounded Dialogue Generation [74.09352261943913]
  我々は、限られた訓練例しか利用できないという自然な仮定のもと、知識基底による対話生成を考察する。 生成モデル全体から知識基底の対話に依存するパラメータを分離するために,不整合応答デコーダを考案する。 1/8のトレーニングデータだけで、我々のモデルは最先端のパフォーマンスを達成でき、ドメイン外の知識をうまく一般化できる。
  論文  参考訳（メタデータ） (2020-02-24T16:20:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。