論文の概要: Utilizing Natural Language Processing for Automated Assessment of
Classroom Discussion
- arxiv url: http://arxiv.org/abs/2306.14918v1
- Date: Wed, 21 Jun 2023 16:45:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-02 13:28:59.816833
- Title: Utilizing Natural Language Processing for Automated Assessment of
Classroom Discussion
- Title(参考訳): 自然言語処理を活用した授業会議の自動評価
- Authors: Nhat Tran, Benjamin Pierce, Diane Litman, Richard Correnti and Lindsay
Clare Matsumura
- Abstract要約: そこで本研究では,教室のテキストディスカッション品質の個々の次元に対して,ルーリックスコアを自動的に生成する,最新の自然言語処理(NLP)技術について実験を行った。
限られた量のデータにもかかわらず、我々の研究は、いくつかのルーリックで結果を奨励する一方で、他のルーリックに改善の余地があることを示唆している。
- 参考スコア(独自算出の注目度): 0.7087237546722617
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Rigorous and interactive class discussions that support students to engage in
high-level thinking and reasoning are essential to learning and are a central
component of most teaching interventions. However, formally assessing
discussion quality 'at scale' is expensive and infeasible for most researchers.
In this work, we experimented with various modern natural language processing
(NLP) techniques to automatically generate rubric scores for individual
dimensions of classroom text discussion quality. Specifically, we worked on a
dataset of 90 classroom discussion transcripts consisting of over 18000 turns
annotated with fine-grained Analyzing Teaching Moves (ATM) codes and focused on
four Instructional Quality Assessment (IQA) rubrics. Despite the limited amount
of data, our work shows encouraging results in some of the rubrics while
suggesting that there is room for improvement in the others. We also found that
certain NLP approaches work better for certain rubrics.
- Abstract(参考訳): 高レベルの思考と推論を行う学生を支援する厳密で対話的なクラスディスカッションは、学習に不可欠であり、ほとんどの授業介入の中心的な要素である。
しかし、議論の質を正式に評価することは、多くの研究者にとって高価で実現不可能である。
本研究では,授業テキストの質の個々の次元に対するルーリックスコアを自動生成する,最新の自然言語処理(NLP)技術を実験した。
具体的には, ATM (Analyzing Teaching Moves) コードに注釈を付した18000回以上からなる90の教室での議論書のデータセットを作成し, 4つの授業品質評価 (IQA) に焦点をあてた。
限られたデータ量にもかかわらず、我々の研究はいくつかのルーブリックの結果を奨励し、他のものに改善の余地があることを示唆しています。
また、あるNLPアプローチが、あるルーブリックに対してよりうまく動作することも見出した。
関連論文リスト
- Automated Assessment of Encouragement and Warmth in Classrooms Leveraging Multimodal Emotional Features and ChatGPT [7.273857543125784]
本研究は,教室における暖かさと励ましを自動的に推定するマルチモーダルアプローチである。
映像,音声,転写データから解釈可能な特徴を抽出するために,感情分析を用いた顔と音声の感情認識を用いた。
92の授業記録から367の16分間のビデオセグメントを含むGTIデータセットに対するアプローチを実証した。
論文 参考訳(メタデータ) (2024-04-01T16:58:09Z) - Teamwork Dimensions Classification Using BERT [0.8566457170664924]
学生のオンラインチャットにおけるチームワークの次元を特定するために,自然言語の自動処理手法が開発された。
自然言語処理と人工知能の分野での発展により、高度な深層移動学習アプローチがもたらされた。
このモデルは、チームワークの評価とフィードバックのための強化された学習分析ツールに貢献する。
論文 参考訳(メタデータ) (2023-12-09T07:18:41Z) - Learning and Evaluating Human Preferences for Conversational Head
Generation [101.89332968344102]
そこで我々は,異なる次元の定量的評価に基づいて,人間の嗜好を適合させる学習ベース評価尺度であるPreference Score(PS)を提案する。
PSは人間のアノテーションを必要とせずに定量的評価を行うことができる。
論文 参考訳(メタデータ) (2023-07-20T07:04:16Z) - Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language
Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。
ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。
また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文 参考訳(メタデータ) (2023-07-16T15:18:25Z) - Deep Learning for Opinion Mining and Topic Classification of Course
Reviews [0.0]
オンラインで公開されている多数のコースレビューを収集し、事前処理しました。
我々は,学生の感情やトピックに対する洞察を得るために,機械学習技術を適用した。
感情極性では、トップモデルは95.5%のRoBERTa、84.7%のF1-macro、トピック分類では、SVMは79.8%の精度と80.6%のF1-macroである。
論文 参考訳(メタデータ) (2023-04-06T21:48:29Z) - The Conversational Short-phrase Speaker Diarization (CSSD) Task:
Dataset, Evaluation Metric and Baselines [63.86406909879314]
本稿では,会話短文話者ダイアリゼーション(CSSD)タスクについて述べる。
トレーニングとテストのデータセット、評価基準、ベースラインで構成されている。
距離の面では,発話レベルでのSD精度を算出する新しい対話型DER (CDER) 評価指標を設計する。
論文 参考訳(メタデータ) (2022-08-17T03:26:23Z) - Speaker-Conditioned Hierarchical Modeling for Automated Speech Scoring [60.55025339250815]
本研究では、話者条件付き階層型モデリングと呼ばれる非ネイティブASSのための新しいディープラーニング手法を提案する。
本手法では, 口腔熟練度テストが候補に対して複数の応答を評価できるという事実を生かして, 候補に対して複数の応答を評価できる。これらの応答からコンテキストを抽出し, ネットワークに付加的な話者固有のコンテキストとして与えて, 特定の応答をスコアする。
論文 参考訳(メタデータ) (2021-08-30T07:00:28Z) - Using Machine Learning and Natural Language Processing Techniques to
Analyze and Support Moderation of Student Book Discussions [0.0]
IMapBookプロジェクトは、小学生のリテラシー向上と理解能力向上を目的として、インタラクティブな電子書籍を提示し、中途半端な本議論に参加することを目的としている。
本研究の目的は、メッセージ分類に対する機械学習ベースのアプローチを開発し、介入の必要性を議論モデレーターに自動的に通知し、進行中の議論に関する他の有用な情報を収集することである。
論文 参考訳(メタデータ) (2020-11-23T20:33:09Z) - Detecting and Classifying Malevolent Dialogue Responses: Taxonomy, Data
and Methodology [68.8836704199096]
コーパスベースの会話インタフェースは、テンプレートベースのエージェントや検索ベースのエージェントよりも多様な自然なレスポンスを生成することができる。
コーパスベースの会話エージェントの生成能力が増大すると、マレヴォレントな反応を分類し、フィルタリングする必要性が生じる。
不適切な内容の認識と分類に関するこれまでの研究は、主にある種のマレヴォレンスに焦点を絞っている。
論文 参考訳(メタデータ) (2020-08-21T22:43:27Z) - Neural Multi-Task Learning for Teacher Question Detection in Online
Classrooms [50.19997675066203]
教師の音声記録から質問を自動的に検出するエンドツーエンドのニューラルネットワークフレームワークを構築している。
マルチタスク学習手法を取り入れることで,質問の種類によって意味的関係の理解を深めることが可能となる。
論文 参考訳(メタデータ) (2020-05-16T02:17:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。