論文の概要: Exploring Knowledge Tracing in Tutor-Student Dialogues

• arxiv url: http://arxiv.org/abs/2409.16490v1
• Date: Tue, 24 Sep 2024 22:31:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 08:11:05.682172
• Title: Exploring Knowledge Tracing in Tutor-Student Dialogues
• Title（参考訳）: チュータ学習対話における知識追跡の探索
• Authors: Alexander Scarlatos, Andrew Lan,
• Abstract要約: 本稿では,教師と学生の対話における知識追跡(KT)の最初の試みについて述べる。 そこで本研究では,対話の各ターンに係わる知識コンポーネントやスキルを同定する手法を提案する。 次に,得られたラベル付きデータに様々なKT手法を適用し,対話全体を通して学生の知識レベルを追跡する。
• 参考スコア（独自算出の注目度）: 53.52699766206808
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large language models (LLMs) have led to the development of artificial intelligence (AI)-powered tutoring chatbots, showing promise in providing broad access to high-quality personalized education. Existing works have primarily studied how to make LLMs follow tutoring principles but not how to model student behavior in dialogues. However, analyzing student dialogue turns can serve as a formative assessment, since open-ended student discourse may indicate their knowledge levels and reveal specific misconceptions. In this work, we present a first attempt at performing knowledge tracing (KT) in tutor-student dialogues. We propose LLM prompting methods to identify the knowledge components/skills involved in each dialogue turn and diagnose whether the student responds correctly to the tutor, and verify the LLM's effectiveness via an expert human evaluation. We then apply a range of KT methods on the resulting labeled data to track student knowledge levels over an entire dialogue. We conduct experiments on two tutoring dialogue datasets, and show that a novel yet simple LLM-based method, LLMKT, significantly outperforms existing KT methods in predicting student response correctness in dialogues. We perform extensive qualitative analyses to highlight the challenges in dialogue KT and outline multiple avenues for future work.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、人工知能(AI)を利用したチューリングチャットボットの開発につながり、高品質なパーソナライズされた教育に幅広いアクセスを提供することの約束を示している。 既存の研究は、LLMが学習原則に従う方法を主に研究してきたが、対話における生徒の振る舞いをモデル化する方法は研究されていない。 しかし、学生の対話を解析することは、生徒の知識レベルを示し、特定の誤解を明らかにするため、形式的評価に役立てることができる。 本研究では,教師と学生の対話における知識追跡(KT)の最初の試みを示す。 そこで本研究では,学習者の学習者に対して,対話の各ターンに関わる知識コンポーネントやスキルを識別し,学習者に対して正しく反応するかどうかを診断し,専門家による評価によってLLMの有効性を検証する手法を提案する。 次に,得られたラベル付きデータに様々なKT手法を適用し,対話全体を通して学生の知識レベルを追跡する。 我々は,2つの学習対話データセットの実験を行い,従来のKT手法よりも学生の反応の正しさを予測できる新しいLLM-based method, LLMKTが優れていることを示す。 我々は、対話KTにおける課題を強調するために、広範囲な定性的な分析を行い、今後の作業に向けて複数の道筋を概説する。

関連論文リスト

• Interactive Dialogue Agents via Reinforcement Learning on Hindsight Regenerations [58.65755268815283]
  多くの実際の対話は対話的であり、つまりエージェントの発話が会話の相手に影響を与えるか、情報を引き出すか、意見を変えるかである。 この事実を利用して、既存の最適データを書き直し、拡張し、オフライン強化学習(RL)を介してトレーニングする。 実際の人間によるユーザ調査の結果、我々のアプローチは既存の最先端の対話エージェントを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-07T21:37:51Z)
• SPL: A Socratic Playground for Learning Powered by Large Language Model [5.383689446227398]
  ソクラティック・プレイグラウンド・フォー・ラーニング (SPL) は GPT-4 をベースとした対話型プレイグラウンドである。 SPLは、個人のニーズに合わせてパーソナライズされた適応的な学習体験を強化することを目的としている。
  論文  参考訳（メタデータ） (2024-06-20T01:18:52Z)
• Can LLMs Understand the Implication of Emphasized Sentences in Dialogue? [64.72966061510375]
  強調は人間のコミュニケーションにおいて重要な要素であり、対話における純粋テキストを超えて話者の意図と含意を示す。 本稿では,強調の意味を抽出した強調注釈付き対話サンプルを用いたベンチマークであるEmphasized-Talkを紹介する。 オープンソースと商用の両方で様々な大規模言語モデル(LLM)を評価し,その性能を重要視して評価する。
  論文  参考訳（メタデータ） (2024-06-16T20:41:44Z)
• Crafting a Good Prompt or Providing Exemplary Dialogues? A Study of In-Context Learning for Persona-based Dialogue Generation [15.143135611057309]
  対人対話生成における大規模言語モデル(LLM)のICL機能を体系的に検討する。 実験結果から, 命令の調整は, 生成品質を改善するための最も直接的, 効果的, 経済的方法である, 2) デモ(デム)をランダムに検索すると, 最高の結果が得られる, 3) デモにおけるマルチターン関連やシングルターンセマンティクスを破壊しても, デモの数が増えても, 対話性能が向上する,という3つの結論が得られた。
  論文  参考訳（メタデータ） (2024-02-15T14:03:33Z)
• Exploring the Factual Consistency in Dialogue Comprehension of Large Language Models [51.75805497456226]
  本研究は,対話要約タスクの助けを借りて,事実整合性の問題に焦点を当てる。 評価の結果,LLMが生成する要約の26.8%が事実整合性を含んでいることがわかった。 LLMの対話理解能力を高めるために,自動構築マルチタスクデータを用いた微調整パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-13T09:32:12Z)
• Zero-Shot Goal-Directed Dialogue via RL on Imagined Conversations [70.7884839812069]
  大規模言語モデル(LLM)は、多くの自然言語タスクに対する強力で一般的な解決策として登場した。 しかしながら、言語生成の最も重要なアプリケーションの多くは対話的であり、エージェントは望ましい結果に達するために相手と話し合わなければならない。 本研究では,そのような目標指向対話に対して,RLでLLMを適応させる新しい手法について検討する。
  論文  参考訳（メタデータ） (2023-11-09T18:45:16Z)
• Self-Explanation Prompting Improves Dialogue Understanding in Large Language Models [52.24756457516834]
  大規模言語モデル(LLM)の理解能力を高めるための新たな「自己説明(Self-Explanation)」を提案する。 このタスクに依存しないアプローチでは、タスク実行前の各対話発話を分析し、様々な対話中心のタスクのパフォーマンスを向上させる必要がある。 6つのベンチマークデータセットによる実験結果から,本手法は他のゼロショットプロンプトよりも一貫して優れており,数ショットプロンプトの有効性を超えていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-09-22T15:41:34Z)
• Frugal Prompting for Dialog Models [17.048111072193933]
  本研究では,大規模言語モデル(LLM)を用いた対話システム構築のための異なるアプローチについて検討する。 即時チューニングの一環として、インストラクション、例題、現在のクエリ、追加のコンテキストを提供する様々な方法を試行する。 この研究は、最適な使用情報密度を持つダイアログ履歴の表現も分析する。
  論文  参考訳（メタデータ） (2023-05-24T09:06:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。