論文の概要: Measuring Conversational Uptake: A Case Study on Student-Teacher
Interactions
- arxiv url: http://arxiv.org/abs/2106.03873v1
- Date: Mon, 7 Jun 2021 18:00:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-09 16:04:11.012256
- Title: Measuring Conversational Uptake: A Case Study on Student-Teacher
Interactions
- Title(参考訳): 会話の取り込みの測定:学生と教師のインタラクションを事例として
- Authors: Dorottya Demszky, Jing Liu, Zid Mancenido, Julie Cohen, Heather Hill,
Dan Jurafsky, Tatsunori Hashimoto
- Abstract要約: 教育における教員の学生貢献の獲得は、より高い生徒の達成と結びついている。
そこで本稿では,米国数学教室の授業書から抽出した学生と教師の交流のデータセットを,専門家の取り込みにアノテートしたデータとして公開することにより,取り込みを計測する枠組みを提案する。
pJSDは反復に基づくベースラインよりも優れており,質問応答や修正など,より広い範囲の取り込み現象を識別できる。
- 参考スコア(独自算出の注目度): 19.80258498803113
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In conversation, uptake happens when a speaker builds on the contribution of
their interlocutor by, for example, acknowledging, repeating or reformulating
what they have said. In education, teachers' uptake of student contributions
has been linked to higher student achievement. Yet measuring and improving
teachers' uptake at scale is challenging, as existing methods require expensive
annotation by experts. We propose a framework for computationally measuring
uptake, by (1) releasing a dataset of student-teacher exchanges extracted from
US math classroom transcripts annotated for uptake by experts; (2) formalizing
uptake as pointwise Jensen-Shannon Divergence (pJSD), estimated via next
utterance classification; (3) conducting a linguistically-motivated comparison
of different unsupervised measures and (4) correlating these measures with
educational outcomes. We find that although repetition captures a significant
part of uptake, pJSD outperforms repetition-based baselines, as it is capable
of identifying a wider range of uptake phenomena like question answering and
reformulation. We apply our uptake measure to three different educational
datasets with outcome indicators. Unlike baseline measures, pJSD correlates
significantly with instruction quality in all three, providing evidence for its
generalizability and for its potential to serve as an automated professional
development tool for teachers.
- Abstract(参考訳): 会話では、話者が、例えば、自分が言ったことを認識、繰り返し、あるいは修正することで、インターロケータの貢献の上にスピーカーが構築される。
教育における教員の学生貢献の獲得は、より高い生徒の達成と結びついている。
しかし,既存の手法では専門家による高価な注釈を必要とするため,教師の大規模獲得を計測し,改善することは困難である。
本研究は,(1)米国数学教室の教員間交流のデータセットを公開し,(2)次の発話分類によって推定されるポイントワイズjensen-shannon divergence(pjsd)の取得を定式化し,(3)異なる教師なし措置の言語的動機付けによる比較を行い,(4)これらの措置を教育成果に関連付けることによって,計算的に計測する枠組みを提案する。
繰り返しは取り込みのかなりの部分を捉えているが、pjsdは質問応答や再帰といった幅広い取り込み現象を識別できるため、反復ベースのベースラインを上回っている。
評価指標を用いた3つの異なる教育データセットに適用する。
pJSDはベースライン測度と異なり、3つすべてにおいて教育の質と大きく相関し、その一般化可能性と教師のための自動化された専門的開発ツールとして機能する可能性の証拠となる。
関連論文リスト
- Diverse and Faithful Knowledge-Grounded Dialogue Generation via
Sequential Posterior Inference [82.28542500317445]
本稿では,知識の選択と対話生成が可能な,逐次後推論(Sequential Posterior Inference, SPI)と呼ばれるエンドツーエンド学習フレームワークを提案する。
他の方法とは異なり、SPIは推論ネットワークを必要とせず、後部分布の単純な幾何学を仮定する。
論文 参考訳(メタデータ) (2023-06-01T21:23:13Z) - MathDial: A Dialogue Tutoring Dataset with Rich Pedagogical Properties
Grounded in Math Reasoning Problems [74.73881579517055]
そこで本稿では,一般学生の誤りを表現した大規模言語モデルを用いて,人間教師の対話を生成する枠組みを提案する。
このフレームワークを用いて3kの1対1の教師-学生対話のデータセットであるMathDialを収集する方法について述べる。
論文 参考訳(メタデータ) (2023-05-23T21:44:56Z) - Dual Semantic Knowledge Composed Multimodal Dialog Systems [114.52730430047589]
本稿では,MDS-S2という新しいマルチモーダルタスク指向対話システムを提案する。
コンテキスト関連属性と関係知識を知識ベースから取得する。
また、合成された応答表現から意味情報を抽出するために、潜在クエリ変数のセットを考案する。
論文 参考訳(メタデータ) (2023-05-17T06:33:26Z) - Don't Copy the Teacher: Data and Model Challenges in Embodied Dialogue [92.01165203498299]
後続の身体的対話命令は、自然言語交換から複雑なタスクのシーケンスを完了させるエージェントを必要とする。
本稿では,模倣学習(IL)と関連する低レベルメトリクスが,実際には誤解を招くものであり,具体的対話研究の目標と一致していないことを論じる。
論文 参考訳(メタデータ) (2022-10-10T05:51:40Z) - Computationally Identifying Funneling and Focusing Questions in
Classroom Discourse [24.279653100481863]
本稿では,授業談話におけるファネリングと集中型質問を計算的に検出するタスクを提案する。
ファネリングと集中型質問にラベル付けされた2,348の教師発話の注釈付きデータセットをリリースする。
我々の最高のモデルである教師付きRoBERTaモデルは、データセットに微調整され、人間の専門家ラベルと.76の強い線形相関と、ポジティブな教育結果を持つ。
論文 参考訳(メタデータ) (2022-07-08T01:28:29Z) - The AI Teacher Test: Measuring the Pedagogical Ability of Blender and
GPT-3 in Educational Dialogues [5.424153769988429]
本稿では,AI教師試験の最初の試みについて報告する。
私たちは、現実世界の対話において、人間の教師と並行して会話エージェントを実行することができるという洞察に基づいて、ソリューションを構築しました。
本手法は,教育における比較判断の信頼性を基盤として,確率モデルとベイジアンサンプリングを用いて教育能力の推定を行う。
論文 参考訳(メタデータ) (2022-05-16T09:36:30Z) - Self-supervised Contrastive Cross-Modality Representation Learning for
Spoken Question Answering [29.545937716796082]
音声質問応答 (SQA) は、音声文書と質問の両方をきめ細かな理解を必要とする。
本稿では,自己指導型学習段階とコントラッシブな表現学習段階を併用した音声質問応答のための新しい学習手法を提案する。
本モデルでは,3つのSQAベンチマークの最先端結果が得られた。
論文 参考訳(メタデータ) (2021-09-08T01:13:14Z) - Mixtures of Deep Neural Experts for Automated Speech Scoring [11.860560781894458]
本論文は,言語学習者の音声応答からテストプロンプトに対する第二言語能力の自動評価の課題に対処する。
本手法は,(1)音声対話のテキスト書き起こしを自動生成する音声認識システム,(2)テキスト書き起こしを習熟クラスに分類する深層学習者に基づく複数分類システム,の2つの異なるモジュールに依存している。
論文 参考訳(メタデータ) (2021-06-23T15:44:50Z) - Structural Pre-training for Dialogue Comprehension [51.215629336320305]
本稿では,SPIDER, Structure Pre-trained DialoguE Readerについて述べる。
対話のような特徴をシミュレートするために,元のLM目的に加えて,2つの訓練目標を提案する。
広く使われている対話ベンチマークの実験結果から,新たに導入した自己教師型タスクの有効性が検証された。
論文 参考訳(メタデータ) (2021-05-23T15:16:54Z) - Probing Task-Oriented Dialogue Representation from Language Models [106.02947285212132]
本稿では,タスク指向対話タスクにおいて,どのモデルが本質的に最も有意義な表現を担っているかを明らかにするために,事前学習された言語モデルについて検討する。
我々は、アノテートラベルを教師付き方法で固定された事前学習言語モデルの上に、分類器プローブとしてフィードフォワード層を微調整する。
論文 参考訳(メタデータ) (2020-10-26T21:34:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。