論文の概要: Multimodal Assessment of Classroom Discourse Quality: A Text-Centered Attention-Based Multi-Task Learning Approach

• arxiv url: http://arxiv.org/abs/2505.07902v1
• Date: Mon, 12 May 2025 09:24:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.274263
• Title: Multimodal Assessment of Classroom Discourse Quality: A Text-Centered Attention-Based Multi-Task Learning Approach
• Title（参考訳）: 授業内容の品質のマルチモーダル評価:テキスト中心の注意に基づくマルチタスク学習アプローチ
• Authors: Ruikun Hou, Babette Bühler, Tim Fütterer, Efe Bozkir, Peter Gerjets, Ulrich Trautwein, Enkelejda Kasneci,
• Abstract要約: 本研究は,GTI(Global Teaching InSights)観測プロトコルにおける3つの談話コンポーネントの品質を評価するために,テキスト中心のマルチモーダル融合アーキテクチャを提案する。 我々は、テキスト、オーディオ、ビデオストリームからのモーダル間相互作用とモーダル間相互作用をキャプチャするために注意機構を用いる。 本研究は,本課題へのアプローチにおけるテキストモダリティの優位性を強調した。
• 参考スコア（独自算出の注目度）: 7.273857543125784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classroom discourse is an essential vehicle through which teaching and learning take place. Assessing different characteristics of discursive practices and linking them to student learning achievement enhances the understanding of teaching quality. Traditional assessments rely on manual coding of classroom observation protocols, which is time-consuming and costly. Despite many studies utilizing AI techniques to analyze classroom discourse at the utterance level, investigations into the evaluation of discursive practices throughout an entire lesson segment remain limited. To address this gap, our study proposes a novel text-centered multimodal fusion architecture to assess the quality of three discourse components grounded in the Global Teaching InSights (GTI) observation protocol: Nature of Discourse, Questioning, and Explanations. First, we employ attention mechanisms to capture inter- and intra-modal interactions from transcript, audio, and video streams. Second, a multi-task learning approach is adopted to jointly predict the quality scores of the three components. Third, we formulate the task as an ordinal classification problem to account for rating level order. The effectiveness of these designed elements is demonstrated through an ablation study on the GTI Germany dataset containing 92 videotaped math lessons. Our results highlight the dominant role of text modality in approaching this task. Integrating acoustic features enhances the model's consistency with human ratings, achieving an overall Quadratic Weighted Kappa score of 0.384, comparable to human inter-rater reliability (0.326). Our study lays the groundwork for the future development of automated discourse quality assessment to support teacher professional development through timely feedback on multidimensional discourse practices.
• Abstract（参考訳）: 授業談話は、教育と学習を行う上で不可欠な手段である。 ディスカーシブな実践の異なる特性を評価し、それらと生徒の学習成果を結びつけることで、教養の質の理解が促進される。 従来の評価は、時間と費用のかかる教室観察プロトコルの手作業によるコーディングに依存している。 発話レベルでの授業談話の分析にAI技術を活用した多くの研究があるが、授業セグメント全体を通しての散発的実践の評価に関する調査は限られている。 本研究は,GTI(Global Teaching InSights)観測プロトコル(Nature of Discourse, Questioning, and Explanations)における3つの談話コンポーネントの品質を評価するための,テキスト中心のマルチモーダル融合アーキテクチャを提案する。 まず,テキスト,音声,ビデオストリームからのモーダル間相互作用とモーダル間相互作用をキャプチャするために注意機構を用いる。 第二に、3つのコンポーネントの品質スコアを共同で予測するために、マルチタスク学習アプローチが採用されている。 第3に、評価レベルの順序を考慮に入れた序列分類問題としてタスクを定式化する。 これらの設計要素の有効性は、92のビデオテープによる数学のレッスンを含むGTIドイツデータセットのアブレーション研究によって実証される。 本研究は,本課題へのアプローチにおけるテキストモダリティの優位性を強調した。 アコースティックな特徴を統合することで、モデルと人間のレーティングの整合性が向上し、全体の四重重み付きカッパスコアは0.384となり、これは人間間の信頼性(0.326)に匹敵する。 本研究は,多次元の言論実践に対するタイムリーなフィードバックを通じて,教師の専門的開発を支援するための自動言論品質評価の今後の発展に向けた基礎研究である。

関連論文リスト

• Evaluating LLM-based Agents for Multi-Turn Conversations: A Survey [64.08485471150486]
  本研究では,大規模言語モデル(LLM)に基づくマルチターン対話環境におけるエージェントの評価手法について検討する。 我々は250近い学術資料を体系的にレビューし、様々な出版場所から芸術の状態を捉えた。
  論文  参考訳（メタデータ） (2025-03-28T14:08:40Z)
• The Promises and Pitfalls of Using Language Models to Measure Instruction Quality in Education [3.967610895056427]
  本稿では,自然言語処理(NLP)技術を活用して,複数のハイ推論教育実践を評価するための最初の研究について述べる。 ノイズや長い入力データ、人間の評価の高度に歪んだ分布など、NLPに基づく指導分析に固有の2つの課題に直面している。
  論文  参考訳（メタデータ） (2024-04-03T04:15:29Z)
• Automated Assessment of Encouragement and Warmth in Classrooms Leveraging Multimodal Emotional Features and ChatGPT [7.273857543125784]
  本研究は,教室における暖かさと励ましを自動的に推定するマルチモーダルアプローチである。 映像,音声,転写データから解釈可能な特徴を抽出するために,感情分析を用いた顔と音声の感情認識を用いた。 92の授業記録から367の16分間のビデオセグメントを含むGTIデータセットに対するアプローチを実証した。
  論文  参考訳（メタデータ） (2024-04-01T16:58:09Z)
• A Hierarchy-based Analysis Approach for Blended Learning: A Case Study with Chinese Students [12.533646830917213]
  本稿では,混合学習評価のための階層型評価手法を提案する。 その結果、混合学習評価において、認知的エンゲージメントと感情的エンゲージメントがより重要であることが示された。
  論文  参考訳（メタデータ） (2023-09-19T00:09:00Z)
• Utilizing Natural Language Processing for Automated Assessment of Classroom Discussion [0.7087237546722617]
  そこで本研究では,教室のテキストディスカッション品質の個々の次元に対して,ルーリックスコアを自動的に生成する,最新の自然言語処理(NLP)技術について実験を行った。 限られた量のデータにもかかわらず、我々の研究は、いくつかのルーリックで結果を奨励する一方で、他のルーリックに改善の余地があることを示唆している。
  論文  参考訳（メタデータ） (2023-06-21T16:45:24Z)
• Multi-Dimensional Evaluation of Text Summarization with In-Context Learning [79.02280189976562]
  本稿では,テキスト内学習を用いた多次元評価器として,大規模言語モデルの有効性について検討する。 実験の結果,テキスト要約作業において,文脈内学習に基づく評価手法が学習評価フレームワークと競合していることが判明した。 次に、テキスト内サンプルの選択や数などの要因がパフォーマンスに与える影響を分析する。
  論文  参考訳（メタデータ） (2023-06-01T23:27:49Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)
• Distant finetuning with discourse relations for stance classification [55.131676584455306]
  そこで本研究では,定位分類のモデルとして,原文から銀ラベルでデータを抽出し,微調整する手法を提案する。 また,様々な段階において微調整に用いるデータのノイズレベルが減少する3段階のトレーニングフレームワークを提案する。 NLPCC 2021共有タスクArgumentative Text Understanding for AI Debaterでは,26の競合チームの中で1位にランクインした。
  論文  参考訳（メタデータ） (2022-04-27T04:24:35Z)
• Unsupervised Domain Adaptive Person Re-Identification via Human Learning Imitation [67.52229938775294]
  近年、研究者は、異なる人物の再識別データセット間のドメインギャップを減らすために、教師学生フレームワークを彼らの手法に活用することを提案している。 近年の教員中心の枠組みに基づく手法に着想を得て,異なる側面から人間の学習過程を模倣するためのさらなる探究を提案する。
  論文  参考訳（メタデータ） (2021-11-28T01:14:29Z)
• Neural Multi-Task Learning for Teacher Question Detection in Online Classrooms [50.19997675066203]
  教師の音声記録から質問を自動的に検出するエンドツーエンドのニューラルネットワークフレームワークを構築している。 マルチタスク学習手法を取り入れることで,質問の種類によって意味的関係の理解を深めることが可能となる。
  論文  参考訳（メタデータ） (2020-05-16T02:17:04Z)
• Assessment Modeling: Fundamental Pre-training Tasks for Interactive Educational Systems [3.269851859258154]
  ラベルスカース問題を回避する一般的な方法は、学習項目の内容の表現を学習するためのモデルを事前学習することである。 本稿では,総合的な対話型教育システムのための基礎的事前学習課題のクラスであるアセスメント・モデリングを提案する。
  論文  参考訳（メタデータ） (2020-01-01T02:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。