論文の概要: Ruffle&Riley: Insights from Designing and Evaluating a Large Language Model-Based Conversational Tutoring System
- arxiv url: http://arxiv.org/abs/2404.17460v1
- Date: Fri, 26 Apr 2024 14:57:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-29 12:55:05.090850
- Title: Ruffle&Riley: Insights from Designing and Evaluating a Large Language Model-Based Conversational Tutoring System
- Title（参考訳）: Ruffle&Riley: 大規模言語モデルに基づく会話学習システムの設計と評価から
- Authors: Robin Schmucker, Meng Xia, Amos Azaria, Tom Mitchell,
- Abstract要約: 会話学習システム(CTS)は、自然言語に基づく対話を通じて学習体験を提供する。
大規模言語モデル(LLM)の最近の進歩を2つの方法で活用する新しいタイプのCTSについて検討・評価する。
このシステムは、授業テキストから容易に編集可能な教育用スクリプトを自動生成することにより、AI支援コンテンツオーサリングを可能にする。
- 参考スコア（独自算出の注目度）: 21.139850269835858
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conversational tutoring systems (CTSs) offer learning experiences through interactions based on natural language. They are recognized for promoting cognitive engagement and improving learning outcomes, especially in reasoning tasks. Nonetheless, the cost associated with authoring CTS content is a major obstacle to widespread adoption and to research on effective instructional design. In this paper, we discuss and evaluate a novel type of CTS that leverages recent advances in large language models (LLMs) in two ways: First, the system enables AI-assisted content authoring by inducing an easily editable tutoring script automatically from a lesson text. Second, the system automates the script orchestration in a learning-by-teaching format via two LLM-based agents (Ruffle&Riley) acting as a student and a professor. The system allows for free-form conversations that follow the ITS-typical inner and outer loop structure. We evaluate Ruffle&Riley's ability to support biology lessons in two between-subject online user studies (N = 200) comparing the system to simpler QA chatbots and reading activity. Analyzing system usage patterns, pre/post-test scores and user experience surveys, we find that Ruffle&Riley users report high levels of engagement, understanding and perceive the offered support as helpful. Even though Ruffle&Riley users require more time to complete the activity, we did not find significant differences in short-term learning gains over the reading activity. Our system architecture and user study provide various insights for designers of future CTSs. We further open-source our system to support ongoing research on effective instructional design of LLM-based learning technologies.
- Abstract（参考訳）: 会話学習システム(CTS)は、自然言語に基づく対話を通じて学習体験を提供する。
認知的エンゲージメントを促進し、特に推論タスクにおいて学習結果を改善することが認められている。
それにもかかわらず、CTSコンテンツのオーサリングに伴うコストは、広く普及し、効果的な教育設計を研究する上で大きな障害となる。
本稿では,大規模言語モデル(LLM)の最近の進歩を活用する新しいタイプのCTSについて,2つの方法で論じ,評価する。
第2に、このシステムは、学生と教授として働く2つのLCMベースのエージェント(Ruffle&Riley)を介して、学習教育形式のスクリプトオーケストレーションを自動化する。
このシステムは、ITSの典型的な内ループ構造と外ループ構造に従う自由形式の会話を可能にする。
我々は,Ruffle&Rileyの2つのオンラインユーザ研究(N=200)における生物学の授業を支援する能力を評価し,より簡単なQAチャットボットと読書活動と比較した。
システム利用パターン、テスト前/テスト後のスコア、ユーザエクスペリエンス調査を分析してみると、Ruffle&Rileyのユーザは、提供されたサポートを役に立ち、高いレベルのエンゲージメント、理解、知覚を報告している。
Ruffle&Rileyのユーザは、アクティビティを完了するのにより多くの時間を必要とするが、読み込みアクティビティよりも短期学習の方が大きな違いは見つからなかった。
システムアーキテクチャとユーザスタディは、将来のCTSの設計者に様々な洞察を与えます。
また,LLMに基づく学習技術の効果的な教育設計に関する継続的な研究を支援するために,我々のシステムをオープンソースとして公開する。
関連論文リスト
- Let Students Take the Wheel: Introducing Post-Quantum Cryptography with Active Learning [4.804847392457553]
ポスト量子暗号(PQC)は、既存のソフトウェアシステムをセキュアにするためのソリューションとして認識されている。
本研究は,PQCを大学生や大学院生に教える上での,新たなアクティブラーニング手法を提案する。
論文 参考訳（メタデータ） (2024-10-17T01:52:03Z) - Exploring Knowledge Tracing in Tutor-Student Dialogues [53.52699766206808]
本稿では,教師と学生の対話における知識追跡(KT)の最初の試みについて述べる。
そこで本研究では,対話の各ターンに係わる知識コンポーネントやスキルを同定する手法を提案する。
次に,得られたラベル付きデータに様々なKT手法を適用し,対話全体を通して学生の知識レベルを追跡する。
論文 参考訳（メタデータ） (2024-09-24T22:31:39Z) - Pronunciation Assessment with Multi-modal Large Language Models [10.35401596425946]
大規模言語モデル(LLM)に基づくスコアリングシステムを提案する。
音声エンコーダは、まず学習者の音声を文脈的特徴にマッピングする。
アダプタ層は、これらの機能を潜在空間に埋め込まれたテキストに合わせるように変換する。
論文 参考訳（メタデータ） (2024-07-12T12:16:14Z) - SPL: A Socratic Playground for Learning Powered by Large Language Model [5.383689446227398]
ソクラティック・プレイグラウンド・フォー・ラーニング (SPL) は GPT-4 をベースとした対話型プレイグラウンドである。
SPLは、個人のニーズに合わせてパーソナライズされた適応的な学習体験を強化することを目的としている。
論文 参考訳（メタデータ） (2024-06-20T01:18:52Z) - DIALIGHT: Lightweight Multilingual Development and Evaluation of
Task-Oriented Dialogue Systems with Large Language Models [76.79929883963275]
DIALIGHTは多言語タスク指向対話(ToD)システムの開発と評価のためのツールキットである。
ローカル発話レベルとグローバル対話レベルの両方において、人間のきめ細かい評価のためのセキュアでユーザフレンドリーなWebインターフェースを備えている。
評価の結果, PLMの微調整により精度とコヒーレンスが向上する一方, LLMベースのシステムは多様で類似した応答を生成するのに優れていた。
論文 参考訳（メタデータ） (2024-01-04T11:27:48Z) - Ruffle&Riley: Towards the Automated Induction of Conversational Tutoring
Systems [23.093767743306973]
会話学習システム(CTS)は、自然言語の相互作用によって駆動される学習体験を提供する。
大規模言語モデル(LLM)の最近の進歩を2つの方法で活用する新しいタイプのCTSを提案する。
Ruffle&Riley は ITS の典型的な内ループ構造と外ループ構造に従う自由形式の会話を可能にする。
論文 参考訳（メタデータ） (2023-09-26T23:27:06Z) - Empowering Private Tutoring by Chaining Large Language Models [87.76985829144834]
本研究は,最先端の大規模言語モデル(LLM)を活用した,本格的な知的チューリングシステムの開発を探求する。
このシステムは、相互に接続された3つのコアプロセス(相互作用、反射、反応)に分けられる。
各プロセスは LLM ベースのツールと動的に更新されたメモリモジュールによって実装される。
論文 参考訳（メタデータ） (2023-09-15T02:42:03Z) - AI Chatbots as Multi-Role Pedagogical Agents: Transforming Engagement in
CS Education [8.898863361318817]
4つの異なるチャットボットを備えた新しい学習環境を開発し,実装し,評価する。
これらの役割は、学習者(能力、自律性、関連性)の3つの本質的な心理的ニーズを満たす。
このシステムは、質問に基づく学習パラダイムを採用し、学生に質問をし、解決策を求め、その好奇心を探求するよう促す。
論文 参考訳（メタデータ） (2023-08-08T02:13:44Z) - An Adversarial Learning based Multi-Step Spoken Language Understanding
System through Human-Computer Interaction [70.25183730482915]
対戦型学習に基づく多段階音声言語理解システムを提案する。
我々は,F1の観点で解析性能を少なくとも2.5%向上させることを実証した。
論文 参考訳（メタデータ） (2021-06-06T03:46:53Z) - Continual Learning in Task-Oriented Dialogue Systems [49.35627673523519]
タスク指向対話システムにおける継続的な学習は、システム全体のリトレーニングのコストを伴わずに、時間を通じて新しいドメインや機能を追加できる。
37ドメインのタスク指向対話システムを4つの設定で継続的に学習するための継続的学習ベンチマークを提案する。
論文 参考訳（メタデータ） (2020-12-31T08:44:25Z) - MinTL: Minimalist Transfer Learning for Task-Oriented Dialogue Systems [75.43457658815943]
タスク指向対話システムのシステム設計プロセスを簡単にするミニマリスト変換学習(MinTL)を提案する。
MinTLはシンプルだが効果的な転送学習フレームワークであり、事前訓練されたSeq2seqモデルのプラグインと再生を可能にする。
トレーニング済みの2つのバックボーン(T5とBART)で学習フレームワークをインスタンス化し、MultiWOZで評価する。
論文 参考訳（メタデータ） (2020-09-25T02:19:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。