論文の概要: Automatic assessment of text-based responses in post-secondary
education: A systematic review
- arxiv url: http://arxiv.org/abs/2308.16151v1
- Date: Wed, 30 Aug 2023 17:16:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-31 12:47:12.755356
- Title: Automatic assessment of text-based responses in post-secondary
education: A systematic review
- Title（参考訳）: 後中等教育におけるテキスト応答の自動評価:体系的レビュー
- Authors: Rujun Gao, Hillary E. Merzdorf, Saira Anwar, M. Cynthia Hipwell, Arun
Srinivasa
- Abstract要約: 教育におけるテキストベースの反応の迅速な評価とフィードバックの自動化には大きな可能性がある。
この体系的なレビューは、後中等教育におけるテキストベースの自動評価システムを研究するために、科学的かつ再現可能な文献検索戦略を採用する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-based open-ended questions in academic formative and summative
assessments help students become deep learners and prepare them to understand
concepts for a subsequent test conceptually. However, grading text-based
questions, especially in large (>50 enrolled students) courses, is a tedious
and time-costing process for instructors. Text processing models continue
progressing with the rapid development of Artificial Intelligence (AI) tools
and Natural Language Processing (NLP) algorithms. Especially after
breakthroughs in Large Language Models (LLM), there is immense potential to
automate rapid assessment and feedback of text-based responses in education.
This systematic review adopts a scientific and reproducible literature search
strategy based on the PRISMA process using explicit inclusion and exclusion
criteria to study text-based automatic assessment systems in post-secondary
education, screening 838 papers and synthesizing 93 studies. To understand how
text-based automatic assessment systems have been developed and applied in
education in recent years, all included studies are summarized and categorized
according to a proposed comprehensive theoretical framework, including the
input and output of the automatic assessment system, research motivation, and
research outcome, aiming to answer three research questions accordingly.
Additionally, the typical studies of automated assessment systems and
application domains in these studies are investigated and summarized. This
systematic review will provide an overview of recent educational applications
of text-based assessment systems for understanding the latest AI/NLP
developments assisting in text-based assessments in higher education. We expect
it will particularly benefit researchers and educators incorporating LLMs such
as ChatGPT into their educational activities.
- Abstract（参考訳）: 学術的形式的および要約的評価におけるテキストベースのオープンエンド質問は、学生が深い学習者になり、その後のテストの概念を概念的に理解する準備をするのに役立つ。
しかし、テキストベースの質問、特に大規模な(50名以上の入学者)コースは、インストラクターにとって退屈で時間のかかる作業である。
テキスト処理モデルは、人工知能(AI)ツールと自然言語処理(NLP)アルゴリズムの急速な開発で進歩を続けている。
特にLarge Language Models (LLM) のブレークスルーの後、教育におけるテキストベースの反応の迅速な評価とフィードバックを自動化する大きな可能性がある。
本研究は,PRISMAプロセスに基づく学術・再現可能な文献検索戦略を採用し,第2次教育後におけるテキストベース自動評価システムの研究,838論文のスクリーニング,93研究の合成を行う。
近年の教育におけるテキストベース自動評価システムの発展・適用状況を理解するために,提案する総合的な理論枠組みに基づいて,3つの研究課題に答えるべく,自動評価システム,研究動機,研究成果の入力・出力を含むすべての研究を要約・分類する。
さらに,本研究における自動評価システムと応用領域の典型的研究を概説し,要約した。
この体系的なレビューは、高等教育におけるテキストベースアセスメントを支援する最新のAI/NLP開発を理解するために、テキストベースアセスメントシステムの最近の教育応用の概要を提供する。
特に,ChatGPTなどのLLMを教育活動に取り入れることで,研究者や教育者にとってメリットが期待できる。
関連論文リスト
- Could ChatGPT get an Engineering Degree? Evaluating Higher Education Vulnerability to AI Assistants [175.9723801486487]
我々は,2つのAIアシスタントであるGPT-3.5とGPT-4が適切な回答を得られるかどうかを評価する。
GPT-4は65.8%の質問を正解し、85.1%の質問に対して少なくとも1つの手順で正しい答えを出すことができる。
この結果から,AIの進歩を踏まえて,高等教育におけるプログラムレベルの評価設計の見直しが求められた。
論文 参考訳（メタデータ） (2024-08-07T12:11:49Z) - A Systematic Review of Generative AI for Teaching and Learning Practice [0.37282630026096586]
高等教育におけるGenAIシステムの利用に関するガイドラインは合意されていない。
HEにおける学際的・多次元的な研究は、共同研究を通じて必要である。
論文 参考訳（メタデータ） (2024-06-13T18:16:27Z) - SurveyAgent: A Conversational System for Personalized and Efficient Research Survey [50.04283471107001]
本稿では,研究者にパーソナライズされた効率的な調査支援を目的とした会話システムであるSurveyAgentを紹介する。
SurveyAgentは3つの重要なモジュールを統合している。文書を整理するための知識管理、関連する文献を発見するための勧告、より深いレベルでコンテンツを扱うためのクエリ回答だ。
本評価は,研究活動の合理化におけるSurveyAgentの有効性を実証し,研究者の科学文献との交流を促進する能力を示すものである。
論文 参考訳（メタデータ） (2024-04-09T15:01:51Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。
新たに登場したAI生成の文献レビューも評価されている。
この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Artificial intelligence to automate the systematic review of scientific
literature [0.0]
我々は過去15年間に提案されたAI技術について,研究者が科学的文献の体系的な分析を行うのを助けるために調査を行った。
現在サポートされているタスク、適用されるアルゴリズムの種類、34の初等研究で提案されているツールについて説明する。
論文 参考訳（メタデータ） (2024-01-13T19:12:49Z) - Practical and Ethical Challenges of Large Language Models in Education:
A Systematic Scoping Review [5.329514340780243]
大規模言語モデル(LLM)は、テキストコンテンツの生成と分析の面倒なプロセスを自動化する可能性がある。
これらの革新の実践性と倫理性には懸念がある。
我々は2017年以降に発行された118件の査読論文の体系的スコーピングレビューを行い、研究の現状を明らかにした。
論文 参考訳（メタデータ） (2023-03-17T18:14:46Z) - A Review of the Trends and Challenges in Adopting Natural Language
Processing Methods for Education Feedback Analysis [4.040584701067227]
機械学習、ディープラーニング、自然言語処理(NLP)はAIのサブセットであり、データ処理とモデリングのさまざまな領域に取り組む。
本稿では、現在の機会を概観した、AIが教育に与える影響の概要について述べる。
論文 参考訳（メタデータ） (2023-01-20T23:38:58Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - Text similarity analysis for evaluation of descriptive answers [0.0]
本論文では, テキスト解析に基づく自動評価手法を提案する。
このアーキテクチャでは、検査者は与えられた質問の集合に対するサンプル回答シートを作成する。
テキスト要約、テキスト意味論、キーワード要約の概念を使用して、各回答の最終スコアを計算します。
論文 参考訳（メタデータ） (2021-05-06T20:19:58Z) - A Review of Uncertainty Quantification in Deep Learning: Techniques,
Applications and Challenges [76.20963684020145]
不確実性定量化(UQ)は、最適化と意思決定プロセスの両方において不確実性の低減に重要な役割を果たしている。
ビザレ近似とアンサンブル学習技術は、文学において最も広く使われている2つのUQ手法である。
本研究は, 深層学習におけるUQ手法の最近の進歩を概観し, 強化学習におけるこれらの手法の適用について検討する。
論文 参考訳（メタデータ） (2020-11-12T06:41:05Z) - Evaluation of Text Generation: A Survey [107.62760642328455]
本稿は,ここ数年で開発された自然言語生成システムの評価手法について調査する。
我々は,NLG評価手法を,(1)人間中心評価指標,(2)訓練を必要としない自動評価指標,(3)機械学習指標の3つのカテゴリに分類した。
論文 参考訳（メタデータ） (2020-06-26T04:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。