論文の概要: When Youth Enter The Chat: An Epistemic Shift in the Validation of LLM-Based Measures of Student Talk

• arxiv url: http://arxiv.org/abs/2608.23780v1
• Date: Mon, 24 Aug 2026 19:25:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.567333
• Title: When Youth Enter The Chat: An Epistemic Shift in the Validation of LLM-Based Measures of Student Talk
• Title（参考訳）: 若者がチャットに入るとき--LLMによる学生話の質的評価の段階的変化
• Authors: Liliana Santos-Deonizio, James Malamut, Ramón Martínez, Dorottya Demszky,
• Abstract要約: 学生話の尺度は、教育や学習には不十分であり、特に未成年者にとっては不十分である、と我々は主張する。 我々は,学生の会話を再コンテクスト化するために,複数のエスノグラフィー指向の手法を用いる。
• 参考スコア（独自算出の注目度）: 4.210844064797028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLMs are being used increasingly to measure aspects of student discourse (e.g. talk moves, collaboration, equity of voice) at scale. Typically, LLM-based measures of student talk use transcriptions of classroom conversations that only include verbal contributions, which de-contextualize student language. Common practices for validating these measures include comparing outputs against expert annotations by adults, using held out evaluation sets and F1 scores. We argue that these approaches are insufficient to ensure that such measures are meaningful and equitable for teaching and learning, particularly for racially and linguistically marginalized youth. In order to center the youth whose talk is being analyzed, re-contextualizing these classroom conversations and engaging youth in the research process is necessary. Sharing epistemic authority with youth, ultimately, centers their point of view and adds crucial nuance to the analysis of their talk that adult experts, researchers, and LLMs cannot provide. In a case study of multilingual youth in one 8th-grade math classroom, we address the epistemic exclusion of youth by employing multiple ethnographically-oriented methods to re-contextualize student conversations and center youth as epistemic authorities in conversation with researchers and LLMs. We conducted participant observations, interviews, focus groups, and member checks with four focal students. Findings reveal that there were misalignments between students' interpretations of their own math talk experiences and the LLM-based measures of their talk. Students contested both the LLM classifications and the coding scheme used to measure their talk, highlighting the need for youth to be involved in the epistemic process of producing knowledge about their experiences.
• Abstract（参考訳）: LLMは、学生の談話(例えば、会話の動き、コラボレーション、声の平等)の側面を大規模に測定するために、ますます使われています。 通常、LLMに基づく生徒話の尺度は、学生言語を非テクスチャ化する言語貢献のみを含む教室会話の書き起こしを用いる。 これらの尺度を検証するための一般的なプラクティスは、大人による専門家のアノテーションとアウトプットを比較すること、ホールドアウト評価セットとF1スコアを使用することである。 これらのアプローチは、教育や学習、特に人種的・言語学的に疎外された若者にとって、これらの措置が有意義で公平であることを保証するには不十分である、と我々は主張する。 講演が分析されている若者を集中させるためには、これらの教室での会話と研究プロセスにおける若者の関与を再コンテキスト化する必要がある。 成人の専門家、研究者、LLMが提供できないという彼らの話の分析に重要なニュアンスを与える。 小学校8年生の数学教室における多言語性青年の事例研究において,学生の会話をテキスト化するための複数のエスノグラフィー的手法と,研究者やLLMとの会話において中心的青少年を認識論的権威として再定義することで,若者の認識的排除に対処する。 対象学生4名を対象に,観察観察,インタビュー,フォーカスグループ,メンバーチェックを行った。 その結果, 生徒の算数トーク体験に対する解釈と, LLMに基づく会話の尺度との間には, 相違点があることが判明した。 学生は、LLM分類と講演の測定に使用されたコーディングスキームの両方に異議を唱え、経験に関する知識を生み出すための認識過程に若者が関与する必要性を強調した。

関連論文リスト

• PeerMathDial: A Middle School Dialogue Dataset for Student Collaborative Math Problem Solving [10.652842345233559]
  協調問題解決(CPS)は、ピアインタラクションのプロセスが極めて重要である教育における中核的なスキルである。 PeerMathDialは、真正な中学校の数学教室から収集されたピアCPS対話の最初のデータセットである。 27人の学生による55の対話があり、合計6,406回である。 データセットと対話行動分類を用いて、3つのユースケースにまたがるPeerMathDialの実践的応用を実証する。
  論文  参考訳（メタデータ） (2026-06-19T15:55:18Z)
• Lived Experience in Dialogue: Co-designing Personalization in Large Language Models to Support Youth Mental Well-being [7.568079306155379]
  本研究は,若年者の精神的健康を支えるために,LLMがより意味のあるパーソナライゼーションを促進する方法について,コミュニティの視点を取り入れたものである。 我々は、時間的ニーズに応答する個人中心の文脈化、スコープとオフライン参照に関する明確な境界、リフレクションと自律性のための対話的足場という3つのテーマを特定した。 本研究は,若年者や地域社会の現実とLCMによる介入の整合性を高めるため,LCMの設計的特徴を通知するために,生きた体験をどのように運用するかを示すものである。
  論文  参考訳（メタデータ） (2025-11-07T23:53:36Z)
• The Essence of Contextual Understanding in Theory of Mind: A Study on Question Answering with Story Characters [67.61587661660852]
  理論・オブ・ミンド(ToM)は、人間が他者の精神状態を理解し解釈することを可能にする。 本稿では,ToMにおける個人的背景に関する包括的文脈理解の重要性を検証する。 本稿では,古典小説の登場人物をベースとした1,035ToM質問からなるCharToMベンチマークを紹介する。
  論文  参考訳（メタデータ） (2025-01-03T09:04:45Z)
• Chain-of-MetaWriting: Linguistic and Textual Analysis of How Small Language Models Write Young Students Texts [0.8192907805418583]
  本稿では,多言語小言語モデル(SLM)の詳細な言語的およびテキスト的分析について紹介する。 主に、小学生と大学生のフランス語による短編とエッセイの執筆に焦点をあてた。
  論文  参考訳（メタデータ） (2024-12-19T15:58:53Z)
• Embracing AI in Education: Understanding the Surge in Large Language Model Use by Secondary Students [53.20318273452059]
  OpenAIのChatGPTのような大規模言語モデル(LLM)は、新しい教育の道を開いた。 学校制限にもかかわらず,中高生300人以上を対象に調査を行ったところ,学生の70%がLDMを利用していることがわかった。 我々は、対象特化モデル、パーソナライズドラーニング、AI教室など、このような問題に対処するいくつかのアイデアを提案する。
  論文  参考訳（メタデータ） (2024-11-27T19:19:34Z)
• Exploring Knowledge Tracing in Tutor-Student Dialogues using LLMs [49.18567856499736]
  本研究では,大規模言語モデル(LLM)が対話学習を支援することができるかどうかを検討する。 我々は,学習者の知識レベルを対話全体にわたって追跡するために,ラベル付きデータに知識追跡(KT)手法を適用した。 我々は,2つの学習対話データセットの実験を行い,従来のKT手法よりも学生の反応の正しさを予測できる新しいLCM-based method LLMKTが優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-24T22:31:39Z)
• Student Perspectives on Using a Large Language Model (LLM) for an Assignment on Professional Ethics [0.0]
  LLM(Large Language Models)の出現は、カリキュラム、評価、学生の能力にどのような影響を与えるかについて、教育者の間で真剣な議論を始めた。 本報告では,コンピュータ・マスターの学生がキャリアに必要とする倫理に関する課題を含む,専門的能力のコース内での課題について述べる。
  論文  参考訳（メタデータ） (2024-04-09T09:03:47Z)
• Exploring the Factual Consistency in Dialogue Comprehension of Large Language Models [51.75805497456226]
  本研究は,対話要約タスクの助けを借りて,事実整合性の問題に焦点を当てる。 評価の結果,LLMが生成する要約の26.8%が事実整合性を含んでいることがわかった。 LLMの対話理解能力を高めるために,自動構築マルチタスクデータを用いた微調整パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-13T09:32:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。