論文の概要: Automatic assessment of text-based responses in post-secondary
education: A systematic review
- arxiv url: http://arxiv.org/abs/2308.16151v2
- Date: Sun, 14 Jan 2024 03:00:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 01:46:06.531252
- Title: Automatic assessment of text-based responses in post-secondary
education: A systematic review
- Title（参考訳）: 後中等教育におけるテキスト応答の自動評価:体系的レビュー
- Authors: Rujun Gao, Hillary E. Merzdorf, Saira Anwar, M. Cynthia Hipwell, Arun
Srinivasa
- Abstract要約: 教育におけるテキストベースの反応の迅速な評価とフィードバックの自動化には大きな可能性がある。
近年,テキストによる自動評価システムがどのように開発され,教育に応用されているかを理解するために,三つの研究課題が検討されている。
この体系的なレビューは、テキストベースのアセスメントシステムの最近の教育応用の概要を提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-based open-ended questions in academic formative and summative
assessments help students become deep learners and prepare them to understand
concepts for a subsequent conceptual assessment. However, grading text-based
questions, especially in large courses, is tedious and time-consuming for
instructors. Text processing models continue progressing with the rapid
development of Artificial Intelligence (AI) tools and Natural Language
Processing (NLP) algorithms. Especially after breakthroughs in Large Language
Models (LLM), there is immense potential to automate rapid assessment and
feedback of text-based responses in education. This systematic review adopts a
scientific and reproducible literature search strategy based on the PRISMA
process using explicit inclusion and exclusion criteria to study text-based
automatic assessment systems in post-secondary education, screening 838 papers
and synthesizing 93 studies. To understand how text-based automatic assessment
systems have been developed and applied in education in recent years, three
research questions are considered. All included studies are summarized and
categorized according to a proposed comprehensive framework, including the
input and output of the system, research motivation, and research outcomes,
aiming to answer the research questions accordingly. Additionally, the typical
studies of automated assessment systems, research methods, and application
domains in these studies are investigated and summarized. This systematic
review provides an overview of recent educational applications of text-based
assessment systems for understanding the latest AI/NLP developments assisting
in text-based assessments in higher education. Findings will particularly
benefit researchers and educators incorporating LLMs such as ChatGPT into their
educational activities.
- Abstract（参考訳）: 学術的形式的・要約的評価におけるテキストベースのオープンエンド質問は、学生が深層学習者になり、後続の概念的評価の概念を理解する準備をするのに役立つ。
しかし、テキストベースの質問、特に大きなコースでは、インストラクターにとって退屈で時間がかかります。
テキスト処理モデルは、人工知能(AI)ツールと自然言語処理(NLP)アルゴリズムの急速な開発で進歩を続けている。
特にLarge Language Models (LLM) のブレークスルーの後、教育におけるテキストベースの反応の迅速な評価とフィードバックを自動化する大きな可能性がある。
本研究は,PRISMAプロセスに基づく学術・再現可能な文献検索戦略を採用し,第2次教育後におけるテキストベース自動評価システムの研究,838論文のスクリーニング,93研究の合成を行う。
近年,テキストベースの自動評価システムが教育にどのように発展・適用されているかを理解するために,3つの研究課題が検討されている。
システム入力と出力,研究モチベーション,研究成果など,研究課題への回答を目的とした包括的枠組みに基づいて,すべての研究を要約し,分類する。
さらに, 本研究における自動評価システム, 研究方法, 応用領域の典型的研究を概説し, 要約した。
この体系的なレビューは、高等教育におけるテキストベースアセスメントを支援する最新のAI/NLP開発を理解するために、テキストベースアセスメントシステムの最近の教育応用の概要を提供する。
発見は、ChatGPTのようなLLMを教育活動に取り入れた研究者や教育者にとって特に有益である。
関連論文リスト
- Could ChatGPT get an Engineering Degree? Evaluating Higher Education Vulnerability to AI Assistants [175.9723801486487]
我々は,2つのAIアシスタントであるGPT-3.5とGPT-4が適切な回答を得られるかどうかを評価する。
GPT-4は65.8%の質問を正解し、85.1%の質問に対して少なくとも1つの手順で正しい答えを出すことができる。
この結果から,AIの進歩を踏まえて,高等教育におけるプログラムレベルの評価設計の見直しが求められた。
論文 参考訳（メタデータ） (2024-08-07T12:11:49Z) - A Systematic Review of Generative AI for Teaching and Learning Practice [0.37282630026096586]
高等教育におけるGenAIシステムの利用に関するガイドラインは合意されていない。
HEにおける学際的・多次元的な研究は、共同研究を通じて必要である。
論文 参考訳（メタデータ） (2024-06-13T18:16:27Z) - SurveyAgent: A Conversational System for Personalized and Efficient Research Survey [50.04283471107001]
本稿では,研究者にパーソナライズされた効率的な調査支援を目的とした会話システムであるSurveyAgentを紹介する。
SurveyAgentは3つの重要なモジュールを統合している。文書を整理するための知識管理、関連する文献を発見するための勧告、より深いレベルでコンテンツを扱うためのクエリ回答だ。
本評価は,研究活動の合理化におけるSurveyAgentの有効性を実証し,研究者の科学文献との交流を促進する能力を示すものである。
論文 参考訳（メタデータ） (2024-04-09T15:01:51Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。
新たに登場したAI生成の文献レビューも評価されている。
この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Artificial intelligence to automate the systematic review of scientific
literature [0.0]
我々は過去15年間に提案されたAI技術について,研究者が科学的文献の体系的な分析を行うのを助けるために調査を行った。
現在サポートされているタスク、適用されるアルゴリズムの種類、34の初等研究で提案されているツールについて説明する。
論文 参考訳（メタデータ） (2024-01-13T19:12:49Z) - Practical and Ethical Challenges of Large Language Models in Education:
A Systematic Scoping Review [5.329514340780243]
大規模言語モデル(LLM)は、テキストコンテンツの生成と分析の面倒なプロセスを自動化する可能性がある。
これらの革新の実践性と倫理性には懸念がある。
我々は2017年以降に発行された118件の査読論文の体系的スコーピングレビューを行い、研究の現状を明らかにした。
論文 参考訳（メタデータ） (2023-03-17T18:14:46Z) - A Review of the Trends and Challenges in Adopting Natural Language
Processing Methods for Education Feedback Analysis [4.040584701067227]
機械学習、ディープラーニング、自然言語処理(NLP)はAIのサブセットであり、データ処理とモデリングのさまざまな領域に取り組む。
本稿では、現在の機会を概観した、AIが教育に与える影響の概要について述べる。
論文 参考訳（メタデータ） (2023-01-20T23:38:58Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - Text similarity analysis for evaluation of descriptive answers [0.0]
本論文では, テキスト解析に基づく自動評価手法を提案する。
このアーキテクチャでは、検査者は与えられた質問の集合に対するサンプル回答シートを作成する。
テキスト要約、テキスト意味論、キーワード要約の概念を使用して、各回答の最終スコアを計算します。
論文 参考訳（メタデータ） (2021-05-06T20:19:58Z) - A Review of Uncertainty Quantification in Deep Learning: Techniques,
Applications and Challenges [76.20963684020145]
不確実性定量化(UQ)は、最適化と意思決定プロセスの両方において不確実性の低減に重要な役割を果たしている。
ビザレ近似とアンサンブル学習技術は、文学において最も広く使われている2つのUQ手法である。
本研究は, 深層学習におけるUQ手法の最近の進歩を概観し, 強化学習におけるこれらの手法の適用について検討する。
論文 参考訳（メタデータ） (2020-11-12T06:41:05Z) - Evaluation of Text Generation: A Survey [107.62760642328455]
本稿は,ここ数年で開発された自然言語生成システムの評価手法について調査する。
我々は,NLG評価手法を,(1)人間中心評価指標,(2)訓練を必要としない自動評価指標,(3)機械学習指標の3つのカテゴリに分類した。
論文 参考訳（メタデータ） (2020-06-26T04:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。