論文の概要: Rethinking Scaffolding in LLM Tutors: The Interactional Mismatch Between Benchmarks and Real-World Deployments

• arxiv url: http://arxiv.org/abs/2606.15766v1
• Date: Sun, 14 Jun 2026 12:05:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.831829
• Title: Rethinking Scaffolding in LLM Tutors: The Interactional Mismatch Between Benchmarks and Real-World Deployments
• Title（参考訳）: LLMチュータにおけるスコープの再考 - ベンチマークと実世界のデプロイの相互作用的ミスマッチ
• Abstract要約: AIチューターベンチマークで評価される中心的な教育的価値は、足場である。 9,490チャットの9つのデータセットに対して,ScaffoldingとStudent Uptakeを適用した。
• 参考スコア（独自算出の注目度）: 37.56003520528009
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: A central pedagogical value evaluated in AI tutor benchmarks is scaffolding: guiding students through graduated steps toward a solution. Alignment and evaluation methods for embedding scaffolding behaviour into chatbots, however, rest on an implicit assumption: that students will take up the scaffolding and engage in the conversation. To examine whether this assumption holds, we introduce an evaluation pipeline around two metrics - Chatbot Scaffolding and Student Uptake - and apply them across nine datasets of 9,490 chats, spanning AI tutor benchmarks and real-world deployments of educational chatbots. Our analysis reveals that while benchmarks assume a high-scaffolding, high-student-uptake environment, students in real-world settings exhibit lower levels of uptake overall - frequently bypassing the chatbot's pedagogical framing to drive the interaction toward their own learning goals at little interpersonal cost. We argue that bypassing scaffolding is not necessarily detrimental; rather, it frequently highlights a mismatch between a chatbot's pedagogical framing and the student's learning goals. To meaningfully evaluate the effectiveness of a chatbot's assistance, future benchmarks must move beyond the assumption that students will simply take up the scaffolding, and instead evaluate how these chatbots navigate diverse learning contexts and student-driven interaction patterns.
• Abstract（参考訳）: AIチューターベンチマークで評価される中心的な教育的価値は足場である。 しかし、チャットボットに足場動作を埋め込むためのアライメントと評価手法は、学生が足場を引き継ぎ、会話に参加するという暗黙の仮定に基づいている。 この仮定が当てはまるかどうかを調べるため、Chatbot ScaffoldingとStudent Uptakeという2つのメトリクスに関する評価パイプラインを導入し、9,490のチャットの9つのデータセット、AIチューターベンチマーク、教育チャットボットの実際のデプロイメントに適用します。 我々の分析によると、ベンチマークは高いスケールフォールディング、高い学習環境を前提としているが、実際の環境にいる学生は全体の獲得レベルが低く、チャットボットの教育的フレーミングを回避し、対人的コストの少ない学習目標に向けて対話を推進している。 足場をバイパスすることは必ずしも有害ではなく、チャットボットの教育的フレーミングと生徒の学習目標とのミスマッチをしばしば強調する。 チャットボットの補助効果を有意義に評価するためには、将来のベンチマークは、学生が単に足場を乗っ取るという仮定を超えて、これらのチャットボットがどのように多様な学習コンテキストや学生主導のインタラクションパターンをナビゲートするかを評価する必要がある。

関連論文リスト

• Penny: Transition Network Analysis of Learner-Chatbot Interactions in Scaffolded EFL Writing [0.0]
  本研究では「ペニー」を用いた日本人EFL学習者の時間動態のモデル化に遷移ネットワーク分析を用いる。 4,500件以上の執筆セッションと21,000件のインタラクションの分析により、2つの支配的な行動ループが明らかになった。 発見は、AIでスキャフォールドされた書き込みが非線形で対話的なプロセスであることを証明している。
  論文  参考訳（メタデータ） (2026-07-16T05:12:42Z)
• Exploring Teacher-Chatbot Interaction and Affect in Block-Based Programming [5.281501249826119]
  AIベースのチャットボットは、学習と教育を加速する可能性があるが、思慮深い設計と足場を使わずに、反生産的な結果をもたらす可能性がある。 ブロック型プログラミング環境における理科・計算思考活動にチャットボットを用いた中学生11チームを対象に実験を行った。 その結果,教師は,学習能力の低下や批判的思考の潜在的な低下などとともに,スキルの育成や自己自信の確立といったチャットボットのメリットを認識した。
  論文  参考訳（メタデータ） (2026-03-02T15:42:27Z)
• "How Do I ...?": Procedural Questions Predominate Student-LLM Chatbot Conversations [39.146761527401424]
  本稿では,学習コンテキストの異なる2つのデータセット,形式的自己学習(formive self-study)と要約的評価コースワーク(summative evaluationed coursework)に焦点をあてる。 11の異なるLarge Language Model(LLM)と3つの人間レーダを用いて、両方の学習文脈から6,113のメッセージを分析した。 以上の結果から,「手続き的」な質問は両学習文脈で優位に立つが,学生が要約的評価の準備をする場合には,その傾向が示唆された。
  論文  参考訳（メタデータ） (2026-02-20T17:27:41Z)
• Exploring Knowledge Tracing in Tutor-Student Dialogues using LLMs [49.18567856499736]
  本研究では,大規模言語モデル(LLM)が対話学習を支援することができるかどうかを検討する。 我々は,学習者の知識レベルを対話全体にわたって追跡するために,ラベル付きデータに知識追跡(KT)手法を適用した。 我々は,2つの学習対話データセットの実験を行い,従来のKT手法よりも学生の反応の正しさを予測できる新しいLCM-based method LLMKTが優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-24T22:31:39Z)
• Book2Dial: Generating Teacher-Student Interactions from Textbooks for Cost-Effective Development of Educational Chatbots [37.304476231479725]
  教科書の集合に根ざした合成教師と学生の相互作用を生成するための枠組みを提案する。 我々は、このような対話が満たすべき様々な品質基準を強調し、プロンプトや微調整の大きな言語モデルに依存するいくつかのアプローチを比較した。 我々の研究は、サイズと品質のバランスをとる会話データを合成する今後の取り組みに対する洞察を提供する。
  論文  参考訳（メタデータ） (2024-03-05T20:12:05Z)
• Measuring and Controlling Instruction (In)Stability in Language Model Dialogs [72.38330196290119]
  System-promptingは、言語モデルチャットボットをカスタマイズするツールで、特定の命令に従うことができる。 本稿では,仮説を検証し,セルフチャットによる命令安定性の評価を行うベンチマークを提案する。 我々は8ラウンドの会話で重要な指示ドリフトを明らかにした。 そこで本研究では,2つの強力なベースラインに対して良好に比較可能なsplit-softmaxという軽量な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-13T20:10:29Z)
• Supporting Student Decisions on Learning Recommendations: An LLM-Based Chatbot with Knowledge Graph Contextualization for Conversational Explainability and Mentoring [0.0]
  本稿では,チャットボットを会話の仲介者として利用する手法を提案する。 グループチャットアプローチは、必要に応じて、あるいはチャットボットの予め定義されたタスクを超える場合に、学生と人間のメンターを結びつけるために開発された。
  論文  参考訳（メタデータ） (2024-01-16T17:31:35Z)
• Opportunities and Challenges in Neural Dialog Tutoring [54.07241332881601]
  言語学習のための2つの対話学習データセットを用いて、様々な生成言語モデルを厳密に分析する。 現在のアプローチでは、制約のある学習シナリオでチューリングをモデル化できますが、制約の少ないシナリオではパフォーマンスが悪くなります。 人的品質評価では, モデルと接地木アノテーションの両方が, 同等のチュータリングの点で低い性能を示した。
  論文  参考訳（メタデータ） (2023-01-24T11:00:17Z)
• Towards Robust Online Dialogue Response Generation [62.99904593650087]
  これは、トレーニングと実世界のテストの相違によって引き起こされる可能性がある、と私たちは主張する。 本稿では, 発話レベルサンプリングと半発話レベルサンプリングの両方からなる階層的サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-07T06:51:41Z)
• CheerBots: Chatbots toward Empathy and Emotionusing Reinforcement Learning [60.348822346249854]
  本研究では,複数の共感型チャットボットがユーザの暗黙の感情を理解し,複数の対話のターンに対して共感的に応答する枠組みを提案する。 チャットボットをCheerBotsと呼びます。CheerBotsは検索ベースまたは生成ベースで、深い強化学習によって微調整されます。 共感的態度で反応するため,CheerBotsの学習支援としてシミュレーションエージェントである概念人間モデルを開発し,今後のユーザの感情状態の変化を考慮し,共感を喚起する。
  論文  参考訳（メタデータ） (2021-10-08T07:44:47Z)
• Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn Chatbot Responding with Intention [55.77218465471519]
  本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。 我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。 本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
  論文  参考訳（メタデータ） (2021-03-30T15:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。