論文の概要: "How Do I ...?": Procedural Questions Predominate Student-LLM Chatbot Conversations

• arxiv url: http://arxiv.org/abs/2602.18372v1
• Date: Fri, 20 Feb 2026 17:27:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-23 18:01:41.395742
• Title: "How Do I ...?": Procedural Questions Predominate Student-LLM Chatbot Conversations
• Title（参考訳）: 「どうしたらいいのか?」―学生とLLMチャットボットの会話を前提とした手続き的質問―
• Authors: Alexandra Neagu, Marcus Messer, Peter Johnson, Rhodri Nelson,
• Abstract要約: 本稿では,学習コンテキストの異なる2つのデータセット,形式的自己学習(formive self-study)と要約的評価コースワーク(summative evaluationed coursework)に焦点をあてる。 11の異なるLarge Language Model(LLM)と3つの人間レーダを用いて、両方の学習文脈から6,113のメッセージを分析した。 以上の結果から,「手続き的」な質問は両学習文脈で優位に立つが,学生が要約的評価の準備をする場合には,その傾向が示唆された。
• 参考スコア（独自算出の注目度）: 39.146761527401424
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Providing scaffolding through educational chatbots built on Large Language Models (LLM) has potential risks and benefits that remain an open area of research. When students navigate impasses, they ask for help by formulating impasse-driven questions. Within interactions with LLM chatbots, such questions shape the user prompts and drive the pedagogical effectiveness of the chatbot's response. This paper focuses on such student questions from two datasets of distinct learning contexts: formative self-study, and summative assessed coursework. We analysed 6,113 messages from both learning contexts, using 11 different LLMs and three human raters to classify student questions using four existing schemas. On the feasibility of using LLMs as raters, results showed moderate-to-good inter-rater reliability, with higher consistency than human raters. The data showed that 'procedural' questions predominated in both learning contexts, but more so when students prepare for summative assessment. These results provide a basis on which to use LLMs for classification of student questions. However, we identify clear limitations in both the ability to classify with schemas and the value of doing so: schemas are limited and thus struggle to accommodate the semantic richness of composite prompts, offering only partial understanding the wider risks and benefits of chatbot integration. In the future, we recommend an analysis approach that captures the nuanced, multi-turn nature of conversation, for example, by applying methods from conversation analysis in discursive psychology.
• Abstract（参考訳）: LLM(Large Language Models)上に構築された教育チャットボットによる足場の提供は、研究のオープンな領域に留まる潜在的なリスクと利益をもたらす。 学生が不合理な質問をナビゲートする際には、不合理な質問を定式化して助けを求める。 LLMチャットボットとのインタラクションの中で、このような質問はユーザのプロンプトを形作り、チャットボットの応答の教育的効果を駆動する。 本稿では,学習コンテキストの異なる2つのデータセット,形式的自己学習(formive self-study)と要約的評価コースワーク(summative evaluationed coursework)に焦点をあてる。 我々は、11の異なるLLMと3つの人間レーダを使用して、両方の学習コンテキストから6,113のメッセージを分析し、4つの既存のスキーマを使用して生徒の質問を分類した。 LLMをラッカーとして使用することの実現可能性について,その信頼性は中～良質であり,ヒトのラッカーよりも高い一貫性を示した。 以上の結果から,「手続き的」な質問は両学習文脈で優位に立っていたが,学生が要約的評価の準備をする場合には,その傾向が示唆された。 これらの結果は、学生の質問の分類にLLMを使用するための基盤を提供する。 スキーマは限定的であり、複合プロンプトのセマンティック・リッチネスに適合することが困難であり、チャットボット統合のより広範なリスクとメリットを部分的に理解することしかできない。 将来的には,会話分析の手法を分散心理学に応用することにより,会話の微妙で多面的な性質を捉えた分析手法を推奨する。

関連論文リスト

• Investigating Student Interaction Patterns with Large Language Model-Powered Course Assistants in Computer Science Courses [4.761218834684297]
  大規模言語モデル(LLM)は、このギャップを埋める上で有望であるが、学生とLLM間の相互作用は、教育者によって監督されることは滅多にない。 我々は,複数のコンピュータ科学コースにまたがって展開されるLLMを利用したコースアシスタントを開発し,実世界の利用を特徴付けるとともに,教育的意味を理解する。
  論文  参考訳（メタデータ） (2025-09-10T02:21:11Z)
• Teaching Language Models To Gather Information Proactively [53.85419549904644]
  大規模言語モデル(LLM)は、ますます協力的なパートナーとして機能することが期待されている。 本研究では,アクティブな情報収集という新たなタスクパラダイムを導入する。 キー情報をマスキングする、部分的に特定された現実世界のタスクを生成するスケーラブルなフレームワークを設計する。 このセットアップの中核となるイノベーションは、真に新しい暗黙のユーザー情報を引き出す質問に報酬を与える、強化された微調整戦略です。
  論文  参考訳（メタデータ） (2025-07-28T23:50:09Z)
• Embracing AI in Education: Understanding the Surge in Large Language Model Use by Secondary Students [53.20318273452059]
  OpenAIのChatGPTのような大規模言語モデル(LLM)は、新しい教育の道を開いた。 学校制限にもかかわらず,中高生300人以上を対象に調査を行ったところ,学生の70%がLDMを利用していることがわかった。 我々は、対象特化モデル、パーソナライズドラーニング、AI教室など、このような問題に対処するいくつかのアイデアを提案する。
  論文  参考訳（メタデータ） (2024-11-27T19:19:34Z)
• Exploring Knowledge Tracing in Tutor-Student Dialogues using LLMs [49.18567856499736]
  本研究では,大規模言語モデル(LLM)が対話学習を支援することができるかどうかを検討する。 我々は,学習者の知識レベルを対話全体にわたって追跡するために,ラベル付きデータに知識追跡(KT)手法を適用した。 我々は,2つの学習対話データセットの実験を行い,従来のKT手法よりも学生の反応の正しさを予測できる新しいLCM-based method LLMKTが優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-24T22:31:39Z)
• Supporting Student Decisions on Learning Recommendations: An LLM-Based Chatbot with Knowledge Graph Contextualization for Conversational Explainability and Mentoring [0.0]
  本稿では,チャットボットを会話の仲介者として利用する手法を提案する。 グループチャットアプローチは、必要に応じて、あるいはチャットボットの予め定義されたタスクを超える場合に、学生と人間のメンターを結びつけるために開発された。
  論文  参考訳（メタデータ） (2024-01-16T17:31:35Z)
• Let the LLMs Talk: Simulating Human-to-Human Conversational QA via Zero-Shot LLM-to-LLM Interactions [19.365615476223635]
  対話型質問応答システムの目的は,ユーザとの対話によって情報を取得する対話型検索システムを作ることである。 既存の作業では、人間の注釈を使って質問者(学生)と回答者(教師)の役割を演じる。 教師と学生のインタラクションをシミュレーションするためにゼロショット学習者LLMを用いたシミュレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-05T17:38:02Z)
• Exploring the Factual Consistency in Dialogue Comprehension of Large Language Models [51.75805497456226]
  本研究は,対話要約タスクの助けを借りて,事実整合性の問題に焦点を当てる。 評価の結果,LLMが生成する要約の26.8%が事実整合性を含んでいることがわかった。 LLMの対話理解能力を高めるために,自動構築マルチタスクデータを用いた微調整パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-13T09:32:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。