論文の概要: Deep Learning for Opinion Mining and Topic Classification of Course
Reviews
- arxiv url: http://arxiv.org/abs/2304.03394v2
- Date: Fri, 16 Jun 2023 14:15:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-19 17:26:26.997801
- Title: Deep Learning for Opinion Mining and Topic Classification of Course
Reviews
- Title(参考訳): オピニオンマイニングのための深層学習とコースレビューのトピック分類
- Authors: Anna Koufakou
- Abstract要約: オンラインで公開されている多数のコースレビューを収集し、事前処理しました。
我々は,学生の感情やトピックに対する洞察を得るために,機械学習技術を適用した。
感情極性では、トップモデルは95.5%のRoBERTa、84.7%のF1-macro、トピック分類では、SVMは79.8%の精度と80.6%のF1-macroである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Student opinions for a course are important to educators and administrators,
regardless of the type of the course or the institution. Reading and manually
analyzing open-ended feedback becomes infeasible for massive volumes of
comments at institution level or online forums. In this paper, we collected and
pre-processed a large number of course reviews publicly available online. We
applied machine learning techniques with the goal to gain insight into student
sentiments and topics. Specifically, we utilized current Natural Language
Processing (NLP) techniques, such as word embeddings and deep neural networks,
and state-of-the-art BERT (Bidirectional Encoder Representations from
Transformers), RoBERTa (Robustly optimized BERT approach) and XLNet
(Generalized Auto-regression Pre-training). We performed extensive
experimentation to compare these techniques versus traditional approaches. This
comparative study demonstrates how to apply modern machine learning approaches
for sentiment polarity extraction and topic-based classification utilizing
course feedback. For sentiment polarity, the top model was RoBERTa with 95.5%
accuracy and 84.7% F1-macro, while for topic classification, an SVM (Support
Vector Machine) was the top classifier with 79.8% accuracy and 80.6% F1-macro.
We also provided an in-depth exploration of the effect of certain
hyperparameters on the model performance and discussed our observations. These
findings can be used by institutions and course providers as a guide for
analyzing their own course feedback using NLP models towards self-evaluation
and improvement.
- Abstract(参考訳): あるコースの学生の意見は、コースの種類や機関に関係なく、教育者や管理者にとって重要である。
オープンエンドフィードバックの読み書きと手作業による分析は、機関レベルの大量のコメントやオンラインフォーラムでは実現不可能である。
本稿では,オンラインで公開されている多数のコースレビューを収集し,事前処理した。
我々は,学生の感情やトピックに対する洞察を得るために,機械学習技術を適用した。
具体的には,単語埋め込みや深層ニューラルネットワーク,最先端のBERT(Bidirectional Encoder Representations from Transformers),RoBERTa(Robustly Optimization BERT approach),XLNet(Generalized Auto-Regression Pre-training)といった現在の自然言語処理(NLP)技術を利用した。
これらの手法と従来の手法を比較検討した。
本研究は,授業フィードバックを利用した感情極性抽出とトピックベース分類に現代的機械学習を適用する方法を示す。
感情極性では、トップモデルが95.5%のRoBERTaと84.7%のF1-macro、トピック分類ではSVM(Support Vector Machine)が79.8%の精度と80.6%のF1-macroである。
また,ハイパーパラメータがモデル性能に与える影響を詳細に検討し,その観察について考察した。
これらの知見は、NLPモデルによる自己評価と改善に向けたコースフィードバックの分析ガイドとして、機関やコースプロバイダが活用することができる。
関連論文リスト
- BERT-Based Approach for Automating Course Articulation Matrix Construction with Explainable AI [1.4214002697449326]
コースアウトカム(CO)とプログラムアウトカム(PO)/プログラムアウトカム(PSO)アライメントは,カリキュラムの一貫性を確保し,教育効果を評価する上で重要な課題である。
本研究は,CAM(Course Articulation Matrix)の自動生成のためのBERTモデルを用いた伝達学習の可能性を示す。
精度,精度,リコール,F1スコアはそれぞれ98.66%,98.67%,98.66%,98.66%である。
論文 参考訳(メタデータ) (2024-11-21T16:02:39Z) - Automated Assessment of Encouragement and Warmth in Classrooms Leveraging Multimodal Emotional Features and ChatGPT [7.273857543125784]
本研究は,教室における暖かさと励ましを自動的に推定するマルチモーダルアプローチである。
映像,音声,転写データから解釈可能な特徴を抽出するために,感情分析を用いた顔と音声の感情認識を用いた。
92の授業記録から367の16分間のビデオセグメントを含むGTIデータセットに対するアプローチを実証した。
論文 参考訳(メタデータ) (2024-04-01T16:58:09Z) - Machine Unlearning of Pre-trained Large Language Models [17.40601262379265]
本研究では,大規模言語モデル(LLM)の文脈における「忘れられる権利」の概念について検討する。
我々は、事前学習されたモデルに焦点をあてて、機械学習を重要なソリューションとして探求する。
論文 参考訳(メタデータ) (2024-02-23T07:43:26Z) - Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳(メタデータ) (2023-10-09T07:27:15Z) - Utilizing Natural Language Processing for Automated Assessment of
Classroom Discussion [0.7087237546722617]
そこで本研究では,教室のテキストディスカッション品質の個々の次元に対して,ルーリックスコアを自動的に生成する,最新の自然言語処理(NLP)技術について実験を行った。
限られた量のデータにもかかわらず、我々の研究は、いくつかのルーリックで結果を奨励する一方で、他のルーリックに改善の余地があることを示唆している。
論文 参考訳(メタデータ) (2023-06-21T16:45:24Z) - ASPEST: Bridging the Gap Between Active Learning and Selective
Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。
アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。
本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文 参考訳(メタデータ) (2023-04-07T23:51:07Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳(メタデータ) (2022-11-07T16:19:42Z) - Better Language Model with Hypernym Class Prediction [101.8517004687825]
クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。
本研究では,このアプローチをニューラルLMの文脈で再考する。
論文 参考訳(メタデータ) (2022-03-21T01:16:44Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳(メタデータ) (2021-07-23T22:41:28Z) - Hierarchical Bi-Directional Self-Attention Networks for Paper Review
Rating Recommendation [81.55533657694016]
本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。
具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。
我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
論文 参考訳(メタデータ) (2020-11-02T08:07:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。