Fugu-MT 論文翻訳(概要): Cognitively Aided Zero-Shot Automatic Essay Grading

論文の概要: Cognitively Aided Zero-Shot Automatic Essay Grading

arxiv url: http://arxiv.org/abs/2102.11258v1
Date: Mon, 22 Feb 2021 18:41:59 GMT
ステータス: 処理完了
システム内更新日: 2021-02-23 15:22:24.222560
Title: Cognitively Aided Zero-Shot Automatic Essay Grading
Title（参考訳）: 認知支援型ゼロショット自動エッセイグレーディング
Authors: Sandeep Mathias, Rudra Murthy, Diptesh Kanojia, and Pushpak Bhattacharyya
Abstract要約: 本稿では,認知情報を用いたゼロショット自動エッセイグラデーション問題に対する解法を視線行動の形態で記述する。特にスコア付けのための新しいプロンプトに応答して書かれた新しいエッセイをqwkの約5%のポイントで提供した場合,アイズ行動を用いることが aeg システムの性能向上に寄与することが示された。
参考スコア（独自算出の注目度）: 25.772899595946416
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Automatic essay grading (AEG) is a process in which machines assign a grade to an essay written in response to a topic, called the prompt. Zero-shot AEG is when we train a system to grade essays written to a new prompt which was not present in our training data. In this paper, we describe a solution to the problem of zero-shot automatic essay grading, using cognitive information, in the form of gaze behaviour. Our experiments show that using gaze behaviour helps in improving the performance of AEG systems, especially when we provide a new essay written in response to a new prompt for scoring, by an average of almost 5 percentage points of QWK.
Abstract（参考訳）: 自動エッセイグレーティング(automatic essay grading、aeg)は、プロンプトと呼ばれるトピックに応答して書かれたエッセイに、機械がグレードを割り当てるプロセスである。 Zero-shot AEGは、トレーニングデータに存在しない新しいプロンプトに書かれたエッセイを格付けするシステムをトレーニングする時です。本稿では,認知情報を用いたゼロショット自動エッセイグレーディングの問題に対する,視線行動の形での解決法について述べる。特にスコア付けのための新しいプロンプトに応答して書かれた新しいエッセイをqwkの約5%のポイントで提供した場合,アイズ行動を用いることが aeg システムの性能向上に寄与することが示された。

関連論文リスト

Evaluating GPT-4 at Grading Handwritten Solutions in Math Exams [48.99818550820575]
我々は、最先端のマルチモーダルAIモデル、特にGPT-4oを利用して、大学レベルの数学試験に対する手書きの応答を自動的に評価する。確率論試験における質問に対する実際の学生の反応を用いて, GPT-4oのスコアと, 様々なプロンプト技術を用いて, 人間の学級のスコアとの整合性を評価する。
論文参考訳（メタデータ） (2024-11-07T22:51:47Z)
Hey AI Can You Grade My Essay?: Automatic Essay Grading [1.03590082373586]
自動エッセイグレーディング(AEG)分野における最先端モデルよりも優れた新しいモデルを提案する。我々は,エッセイの文の文法的特徴と構造的特徴のチェックにひとつのネットワークが責任を持ち,エッセイに含まれる全体概念のスコアリングに他のネットワークが責任を持つという,協調的・伝達的学習という概念を用いてきた。提案手法の精度は85.50%である。
論文参考訳（メタデータ） (2024-10-12T01:17:55Z)
Transformer-based Joint Modelling for Automatic Essay Scoring and Off-Topic Detection [3.609048819576875]
我々は、エッセイを共同でスコア付けし、非トピックエッセイを検出する、教師なしのテクニックを提案している。提案手法は,2つのエッセイ・スコリング・データセットに対して,作成したベースラインと従来手法よりも優れた性能を示す。
論文参考訳（メタデータ） (2024-03-24T21:44:14Z)
Review of feedback in Automated Essay Scoring [6.445605125467574]
最初の自動エッセイ評価システムは50年前に開発された。本稿では,異なるフィードバックタイプやエッセイ特性を含むフィードバックについて,自動エッセイ評価について検討する。
論文参考訳（メタデータ） (2023-07-09T11:04:13Z)
Prompt- and Trait Relation-aware Cross-prompt Essay Trait Scoring [3.6825890616838066]
自動エッセイスコアリング(AES)は、与えられたプロンプトのために書かれたエッセイをスコアリングすることを目的とする。既存のAESシステムの多くは、トレーニングで使用されるのと同じプロンプトのエッセイを格付けし、総合的なスコアのみを割り当てている。本稿では,プロンプトとトレーサの関係を意識したエッセイ・エッセイ・トレーサ・スコアラというロバストなモデルを提案する。
論文参考訳（メタデータ） (2023-05-26T11:11:19Z)
TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
論文参考訳（メタデータ） (2022-11-21T22:38:20Z)
Many Hands Make Light Work: Using Essay Traits to Automatically Score Essays [41.851075178681015]
マルチタスク学習(MTL)アプローチを用いて,エッセイを総合的に評価する方法を述べる。 LSTMとBiLSTMの両方を用いて,STL(Single-task Learning)アプローチとの比較を行った。 MTLをベースとしたBiLSTMシステムは,エッセイ特性の評価だけでなく,エッセイ特性の評価にも有効であることがわかった。
論文参考訳（メタデータ） (2021-02-01T11:31:09Z)
My Teacher Thinks The World Is Flat! Interpreting Automatic Essay Scoring Mechanism [71.34160809068996]
最近の研究では、自動スコアリングシステムが常識的な敵対的サンプルになりやすいことが示されています。近年の解釈能力の進歩を活かし,コヒーレンスやコンテント,関連性といった特徴がスコアリングの自動化にどの程度重要であるかを見出す。また、モデルが意味的に世界知識や常識に基づかないことから、世界のような虚偽の事実を追加することは、それを減らすよりもむしろスコアを増加させる。
論文参考訳（メタデータ） (2020-12-27T06:19:20Z)
Get It Scored Using AutoSAS -- An Automated System for Scoring Short Answers [63.835172924290326]
SAS(Automatic Short Answer Scoring)への高速でスケーラブルで正確なアプローチを提示します。 SASのためのシステム、すなわちAutoSASの設計と開発を提案し、説明します。 AutoSASは最先端のパフォーマンスを示し、いくつかの質問のプロンプトで8%以上良い結果が得られる。
論文参考訳（メタデータ） (2020-12-21T10:47:30Z)
Knowledge Distillation for Improved Accuracy in Spoken Question Answering [63.72278693825945]
我々は,音声文書や書面文書から知識蒸留を行うための訓練戦略を考案した。我々の研究は、言語モデルから知識の抽出を監督信号として進めている。実験により,本手法はSpken-SQuADデータセット上で,最先端の言語モデルよりも優れていることが示された。
論文参考訳（メタデータ） (2020-10-21T15:18:01Z)
Improving Readability for Automatic Speech Recognition Transcription [50.86019112545596]
我々は、可読性のためのASRポストプロセッシング(APR)と呼ばれる新しいNLPタスクを提案する。 APRは、ノイズの多いASR出力を、話者の意味を保ちながら、人間や下流タスクのための読みやすいテキストに変換することを目的としている。我々は,いくつかのオープンソースモデルと適応型事前学習モデルに基づく微調整モデルと,従来のパイプライン手法との比較を行った。
論文参考訳（メタデータ） (2020-04-09T09:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。