論文の概要: EduWild: How Teacher-Configured Chatbots Fail in Real-World Use and How to Fix Them

• arxiv url: http://arxiv.org/abs/2610.23530v1
• Date: Fri, 16 Oct 2026 14:28:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.952216
• Title: EduWild: How Teacher-Configured Chatbots Fail in Real-World Use and How to Fix Them
• Title（参考訳）: EduWild:教師が設定したチャットボットが現実世界で機能しない方法と対処方法
• Abstract要約: EduWildは、教師が設定した217のチャットボットと1,726の会話のデータセットである。 事実,ワークフロー,診断,教育的障害をカバーする29のコード分類法を開発した。 10のボットにわたる200人の大学生を対象にした調査では、このハーネスは会話毎のターゲット障害コードの平均数を減少させる。
• 参考スコア（独自算出の注目度）: 21.97612398656899
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Teachers increasingly configure educational chatbots through natural-language instructions, but how these bots fail in real-world use remains poorly understood. We introduce EduWild, a dataset of 1,726 conversations with 217 teacher-configured chatbots, each paired with the instructions and configuration behind it, including 900 conversations from the intended end users of 35 deployed chatbots. We develop a 29-code taxonomy covering factual, workflow, diagnostic, and pedagogical failures and apply it using a human-calibrated LLM judge. The most frequent failures are lapses in following teacher intent --- bots skip required workflow steps (53.8% of end-user conversations), omit expectation setup (33.4%), and overload learners with information or questions (37.1%). Guided by these findings, we design a prompt-based harness targeting the six most frequent failure modes. In a study with 200 college students across ten bots, the harness reduces the mean number of target failure codes per conversation from 1.406 to 0.489, a 65.2% relative reduction with bots weighted equally. These findings show how real-world failure analysis can guide practical improvements to educational chatbots.
• Abstract（参考訳）: 教師は、自然言語による教育用チャットボットをますます構成するが、これらのボットが現実世界でどのように失敗するかは、まだよく分かっていない。 EduWildは、教師が設定した217のチャットボットと1,726の会話のデータセットで、それぞれがその背後にある指示と構成をペアにし、35のチャットボットを配置したエンドユーザからの900の会話を含む。 事実, ワークフロー, 診断, 教育的障害をカバーする29のコード分類法を開発し, 人間の校正によるLCM判定を用いて適用した。 ボットは必要なワークフローステップをスキップする(エンドユーザー会話の53.8%)、省略予測設定(33.4%)、学習者に情報や質問をオーバーロードする(37.1%)。 これらの知見に導かれて、最も頻繁な障害モードをターゲットとした、プロンプトベースのハーネスを設計する。 10のボットにまたがる200人の大学生を対象に行った研究では、このハーネスは会話毎の目標障害コードの平均数を1.406から0.489に減らし、65.2%のボットと同等に重み付けされている。 これらの結果は、現実の失敗分析が教育チャットボットの実践的改善をいかに導くかを示している。

関連論文リスト

• Rethinking Scaffolding in LLM Tutors: The Interactional Mismatch Between Benchmarks and Real-World Deployments [37.56003520528009]
  AIチューターベンチマークで評価される中心的な教育的価値は、足場である。 9,490チャットの9つのデータセットに対して,ScaffoldingとStudent Uptakeを適用した。
  論文  参考訳（メタデータ） (2026-06-14T12:05:49Z)
• Exploring Teacher-Chatbot Interaction and Affect in Block-Based Programming [5.281501249826119]
  AIベースのチャットボットは、学習と教育を加速する可能性があるが、思慮深い設計と足場を使わずに、反生産的な結果をもたらす可能性がある。 ブロック型プログラミング環境における理科・計算思考活動にチャットボットを用いた中学生11チームを対象に実験を行った。 その結果,教師は,学習能力の低下や批判的思考の潜在的な低下などとともに,スキルの育成や自己自信の確立といったチャットボットのメリットを認識した。
  論文  参考訳（メタデータ） (2026-03-02T15:42:27Z)
• Enhancing Python Programming Education with an AI-Powered Code Helper: Design, Implementation, and Impact [0.0]
  本研究では,学生のプログラミング学習を支援するAI-Pythonベースのチャットボットを提案する。 システムは85%のエラー解決成功率を示し、Pylintのようなスタンドアロンツールを上回った。 この研究は、単なるコード補完よりも教育的平等と長期的なスキル維持を優先するAIツールの青写真を提供する。
  論文  参考訳（メタデータ） (2025-09-24T19:43:46Z)
• MathDial: A Dialogue Tutoring Dataset with Rich Pedagogical Properties Grounded in Math Reasoning Problems [74.73881579517055]
  そこで本稿では,一般学生の誤りを表現した大規模言語モデルを用いて,人間教師の対話を生成する枠組みを提案する。 このフレームワークを用いて3kの1対1の教師-学生対話のデータセットであるMathDialを収集する方法について述べる。
  論文  参考訳（メタデータ） (2023-05-23T21:44:56Z)
• Giving Feedback on Interactive Student Programs with Meta-Exploration [74.5597783609281]
  ウェブサイトやゲームのようなインタラクティブなソフトウェアを開発することは、特にコンピュータ科学を学ぶための魅力的な方法である。 標準的アプローチでは、インストラクターは、学生が実装した対話型プログラムを手動で評価する必要がある。 Code.orgのような何百万ものオンラインプラットフォームは、インタラクティブなプログラムを実装するための代入に関するフィードバックを提供することができない。
  論文  参考訳（メタデータ） (2022-11-16T10:00:23Z)
• Implementing a Chatbot Solution for Learning Management System [0.0]
  今日チャットボットが直面する最大の問題は、人間の言語を模倣することだ。 エクストリームプログラミング手法はChatterBot、Pyside2、Webスクレイピング、TampermonkeyをBlackboardに統合するために選択された。 我々は、AIボットを教育環境に統合する可能性を示した。
  論文  参考訳（メタデータ） (2022-06-27T11:04:42Z)
• Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn Chatbot Responding with Intention [55.77218465471519]
  本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。 我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。 本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
  論文  参考訳（メタデータ） (2021-03-30T15:24:37Z)
• Detection of Novel Social Bots by Ensembles of Specialized Classifiers [60.63582690037839]
  悪意ある俳優は、社会ボットとして知られるアルゴリズムによって部分的に制御される不正なソーシャルメディアアカウントを作成し、誤情報を広め、オンラインでの議論を扇動する。 異なるタイプのボットが、異なる行動特徴によって特徴づけられることを示す。 本稿では,ボットのクラスごとに専門的な分類器を訓練し,それらの決定を最大ルールで組み合わせる,教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2020-06-11T22:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。