論文の概要: The StudyChat Dataset: Student Dialogues With ChatGPT in an Artificial Intelligence Course
- arxiv url: http://arxiv.org/abs/2503.07928v3
- Date: Tue, 19 Aug 2025 13:36:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-20 15:36:31.420398
- Title: The StudyChat Dataset: Student Dialogues With ChatGPT in an Artificial Intelligence Course
- Title(参考訳): StudyChat Dataset:人工知能コースにおけるChatGPTとの対話
- Authors: Hunter McNichols, Fareya Ikram, Andrew Lan,
- Abstract要約: 大規模言語モデル(LLM)は教育に大きな影響を与え、機会と課題の両方を提起している。
本研究では,LLMを用いた実世界の学生インタラクションのデータセットであるStudioChatを紹介する。
本稿では,ChatGPTのコア機能を再現したWebアプリケーションをデプロイし,学生のLLMとのインタラクションをログに記録する。
これらの相互作用を分析し、利用傾向を強調し、特定の生徒の行動がコースの結果とどのように関連しているかを分析する。
- 参考スコア(独自算出の注目度): 1.9116784879310025
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The widespread availability of large language models (LLMs), such as ChatGPT, has significantly impacted education, raising both opportunities and challenges. Students can frequently interact with LLM-powered, interactive learning tools, but their usage patterns need to be monitored and understood. We introduce StudyChat, a publicly available dataset capturing real-world student interactions with an LLM-powered tutoring chatbot in a semester-long, university-level artificial intelligence (AI) course. We deploy a web application that replicates ChatGPTs core functionalities, and use it to log student interactions with the LLM while working on programming assignments. We collect 16,851 interactions, which we annotate using a dialogue act labeling schema inspired by observed interaction patterns and prior research. We analyze these interactions, highlight usage trends, and analyze how specific student behavior correlates with their course outcome. We find that students who prompt LLMs for conceptual understanding and coding help tend to perform better on assignments and exams. Moreover, students who use LLMs to write reports and circumvent assignment learning objectives have lower outcomes on exams than others. StudyChat serves as a shared resource to facilitate further research on the evolving role of LLMs in education.
- Abstract(参考訳): ChatGPTのような大規模言語モデル(LLM)の普及は、教育に大きな影響を与え、機会と課題の両方を提起している。
学生はLLMを利用した対話型学習ツールと頻繁に対話できるが、その利用パターンをモニターし理解する必要がある。
大学レベルの人工知能(AI)コースで,LLMを利用した学習チャットボットと実世界の学生のインタラクションを収集する,公開データセットであるStudioChatを紹介した。
我々はChatGPTのコア機能を複製したWebアプリケーションをデプロイし、プログラミングの課題に取り組んでいる間、LLMと学生のインタラクションをログに記録する。
我々は16,851の相互作用を収集し、対話行動ラベリングスキーマを用いて、観察された相互作用パターンと先行研究から着想を得た。
これらの相互作用を分析し、利用傾向を強調し、特定の生徒の行動がコースの結果とどのように関連しているかを分析する。
概念的理解とコーディングを LLM に促す学生は, 課題や試験において, 成績が良くなる傾向にある。
また、LCMを用いて報告書を作成し、課題学習の目的を回避している学生は、他の学生よりも試験結果が低い。
学習チャットは、教育におけるLLMの役割のさらなる研究を促進するための共有リソースとして機能する。
関連論文リスト
- Exploring LLMs for Predicting Tutor Strategy and Student Outcomes in Dialogues [48.99818550820575]
近年の研究では、教師が使う戦略が学生の成績に重大な影響を与えることが示されている。
対話における教師戦略の予測に関する研究は少ない。
本稿では,現代のLLM,特にLlama 3 と GPT-4o を用いて,対話における将来の教師の動きと学生の成果を予測する能力について検討する。
論文 参考訳(メタデータ) (2025-07-09T14:47:35Z) - Towards Anthropomorphic Conversational AI Part I: A Practical Framework [49.62013440962072]
会話に関わる人間の知性の重要な側面を再現するために設計されたマルチモジュールフレームワークを導入する。
アプローチの第2段階では、これらの会話データは、フィルタリングとラベル付けの後に、強化学習のためのトレーニングおよびテストデータとして機能する。
論文 参考訳(メタデータ) (2025-02-28T03:18:39Z) - INTERACT: Enabling Interactive, Question-Driven Learning in Large Language Models [15.825663946923289]
大規模言語モデル(LLM)は、質問に答える能力は優れているが、受動的学習者であり続ける。
本稿では,LLMが学生と教師の対話を通して,対話型,質問駆動型学習にどのように移行できるかを考察する。
論文 参考訳(メタデータ) (2024-12-16T02:28:53Z) - Exploring Knowledge Tracing in Tutor-Student Dialogues using LLMs [49.18567856499736]
本研究では,大規模言語モデル(LLM)が対話学習を支援することができるかどうかを検討する。
我々は,学習者の知識レベルを対話全体にわたって追跡するために,ラベル付きデータに知識追跡(KT)手法を適用した。
我々は,2つの学習対話データセットの実験を行い,従来のKT手法よりも学生の反応の正しさを予測できる新しいLCM-based method LLMKTが優れていることを示す。
論文 参考訳(メタデータ) (2024-09-24T22:31:39Z) - Impacts of Anthropomorphizing Large Language Models in Learning Environments [0.0]
大きな言語モデル(LLM)は、学習環境において、学習仲間として、あるいは家庭教師として、教育をサポートするために、ますます使われている。
本研究の目的は,学習環境におけるLLMの人為的形態化が教育理論に与える影響について考察することである。
論文 参考訳(メタデータ) (2024-07-22T06:28:54Z) - LLM Roleplay: Simulating Human-Chatbot Interaction [52.03241266241294]
本研究では,人間とチャットボットの対話をシミュレートする多元多元対話を自動生成する,目標指向のペルソナに基づく手法を提案する。
本手法は,人間とチャットボットの対話を高い相違率でシミュレートすることができる。
論文 参考訳(メタデータ) (2024-07-04T14:49:46Z) - MathChat: Benchmarking Mathematical Reasoning and Instruction Following in Multi-Turn Interactions [58.57255822646756]
本稿では,大規模言語モデル (LLM) を評価するためのベンチマークであるMathChatを紹介する。
我々は,MathChatベンチマーク上での様々なSOTA LLMの性能評価を行い,これらのモデルが単ターン質問応答において優れているが,より複雑なシナリオでは性能が著しく劣っていることを観察した。
我々は,LLMファインタニングのための合成対話に基づく数学データセットであるMathChat syncを開発した。
論文 参考訳(メタデータ) (2024-05-29T18:45:55Z) - Generating Situated Reflection Triggers about Alternative Solution Paths: A Case Study of Generative AI for Computer-Supported Collaborative Learning [3.2721068185888127]
本稿では,学生に動的かつ文脈的フィードバックを提供する概念実証アプリケーションを提案する。
具体的には、ChatGPTを使って、大学レベルのクラウドコンピューティングコースのためのオンラインプログラミング演習ボットを拡張します。
LLMは、コンテキスト内で発生する協調的な議論の詳細を組み込んだ、高度に位置決めされたリフレクショントリガを生成するために使用できることを実証する。
論文 参考訳(メタデータ) (2024-04-28T17:56:14Z) - Analyzing LLM Usage in an Advanced Computing Class in India [4.580708389528142]
本研究では,大規模言語モデル(LLM)を,大学院生や大学院生が高度なコンピューティングクラスにおけるプログラミング課題に活用することを検討した。
インド大学の分散システムクラスから411名の学生を対象に,総合的な分析を行った。
論文 参考訳(メタデータ) (2024-04-06T12:06:56Z) - Investigation of the effectiveness of applying ChatGPT in Dialogic Teaching Using Electroencephalography [6.34494999013996]
大規模言語モデル(LLM)には、知識を解釈し、質問に答え、文脈を考える能力がある。
この研究は、34人の大学生を参加者として募集し、ランダムに2つのグループに分けられた。
実験群はChatGPTを用いて対話型指導を行い,コントロール群は人間教師と対話した。
論文 参考訳(メタデータ) (2024-03-25T12:23:12Z) - LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language
Models [56.25156596019168]
本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。
我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
論文 参考訳(メタデータ) (2023-11-30T03:59:31Z) - Zero-Shot Goal-Directed Dialogue via RL on Imagined Conversations [70.7884839812069]
大規模言語モデル(LLM)は、多くの自然言語タスクに対する強力で一般的な解決策として登場した。
しかしながら、言語生成の最も重要なアプリケーションの多くは対話的であり、エージェントは望ましい結果に達するために相手と話し合わなければならない。
本研究では,そのような目標指向対話に対して,RLでLLMを適応させる新しい手法について検討する。
論文 参考訳(メタデータ) (2023-11-09T18:45:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。