論文の概要: Cognitively Aided Zero-Shot Automatic Essay Grading
- arxiv url: http://arxiv.org/abs/2102.11258v1
- Date: Mon, 22 Feb 2021 18:41:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-23 15:22:24.222560
- Title: Cognitively Aided Zero-Shot Automatic Essay Grading
- Title(参考訳): 認知支援型ゼロショット自動エッセイグレーディング
- Authors: Sandeep Mathias, Rudra Murthy, Diptesh Kanojia, and Pushpak
Bhattacharyya
- Abstract要約: 本稿では,認知情報を用いたゼロショット自動エッセイグラデーション問題に対する解法を視線行動の形態で記述する。
特にスコア付けのための新しいプロンプトに応答して書かれた新しいエッセイをqwkの約5%のポイントで提供した場合,アイズ行動を用いることが aeg システムの性能向上に寄与することが示された。
- 参考スコア(独自算出の注目度): 25.772899595946416
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic essay grading (AEG) is a process in which machines assign a grade
to an essay written in response to a topic, called the prompt. Zero-shot AEG is
when we train a system to grade essays written to a new prompt which was not
present in our training data. In this paper, we describe a solution to the
problem of zero-shot automatic essay grading, using cognitive information, in
the form of gaze behaviour. Our experiments show that using gaze behaviour
helps in improving the performance of AEG systems, especially when we provide a
new essay written in response to a new prompt for scoring, by an average of
almost 5 percentage points of QWK.
- Abstract(参考訳): 自動エッセイグレーティング(automatic essay grading、aeg)は、プロンプトと呼ばれるトピックに応答して書かれたエッセイに、機械がグレードを割り当てるプロセスである。
Zero-shot AEGは、トレーニングデータに存在しない新しいプロンプトに書かれたエッセイを格付けするシステムをトレーニングする時です。
本稿では,認知情報を用いたゼロショット自動エッセイグレーディングの問題に対する,視線行動の形での解決法について述べる。
特にスコア付けのための新しいプロンプトに応答して書かれた新しいエッセイをqwkの約5%のポイントで提供した場合,アイズ行動を用いることが aeg システムの性能向上に寄与することが示された。
関連論文リスト
- Review of feedback in Automated Essay Scoring [6.445605125467574]
最初の自動エッセイ評価システムは50年前に開発された。
本稿では,異なるフィードバックタイプやエッセイ特性を含むフィードバックについて,自動エッセイ評価について検討する。
論文 参考訳(メタデータ) (2023-07-09T11:04:13Z) - Prompt- and Trait Relation-aware Cross-prompt Essay Trait Scoring [3.6825890616838066]
自動エッセイスコアリング(AES)は、与えられたプロンプトのために書かれたエッセイをスコアリングすることを目的とする。
既存のAESシステムの多くは、トレーニングで使用されるのと同じプロンプトのエッセイを格付けし、総合的なスコアのみを割り当てている。
本稿では,プロンプトとトレーサの関係を意識したエッセイ・エッセイ・トレーサ・スコアラというロバストなモデルを提案する。
論文 参考訳(メタデータ) (2023-05-26T11:11:19Z) - No more Reviewer #2: Subverting Automatic Paper-Reviewer Assignment
using Adversarial Learning [25.70062566419791]
この自動化は,逆学習を用いて操作可能であることを示す。
提案する攻撃は、与えられた論文に適応し、その課題を誤解させ、独自のレビュアーを選択する。
論文 参考訳(メタデータ) (2023-03-25T11:34:27Z) - TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。
従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。
本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
論文 参考訳(メタデータ) (2022-11-21T22:38:20Z) - Many Hands Make Light Work: Using Essay Traits to Automatically Score
Essays [41.851075178681015]
マルチタスク学習(MTL)アプローチを用いて,エッセイを総合的に評価する方法を述べる。
LSTMとBiLSTMの両方を用いて,STL(Single-task Learning)アプローチとの比較を行った。
MTLをベースとしたBiLSTMシステムは,エッセイ特性の評価だけでなく,エッセイ特性の評価にも有効であることがわかった。
論文 参考訳(メタデータ) (2021-02-01T11:31:09Z) - My Teacher Thinks The World Is Flat! Interpreting Automatic Essay
Scoring Mechanism [71.34160809068996]
最近の研究では、自動スコアリングシステムが常識的な敵対的サンプルになりやすいことが示されています。
近年の解釈能力の進歩を活かし,コヒーレンスやコンテント,関連性といった特徴がスコアリングの自動化にどの程度重要であるかを見出す。
また、モデルが意味的に世界知識や常識に基づかないことから、世界のような虚偽の事実を追加することは、それを減らすよりもむしろスコアを増加させる。
論文 参考訳(メタデータ) (2020-12-27T06:19:20Z) - Get It Scored Using AutoSAS -- An Automated System for Scoring Short
Answers [63.835172924290326]
SAS(Automatic Short Answer Scoring)への高速でスケーラブルで正確なアプローチを提示します。
SASのためのシステム、すなわちAutoSASの設計と開発を提案し、説明します。
AutoSASは最先端のパフォーマンスを示し、いくつかの質問のプロンプトで8%以上良い結果が得られる。
論文 参考訳(メタデータ) (2020-12-21T10:47:30Z) - Knowledge Distillation for Improved Accuracy in Spoken Question
Answering [63.72278693825945]
我々は,音声文書や書面文書から知識蒸留を行うための訓練戦略を考案した。
我々の研究は、言語モデルから知識の抽出を監督信号として進めている。
実験により,本手法はSpken-SQuADデータセット上で,最先端の言語モデルよりも優れていることが示された。
論文 参考訳(メタデータ) (2020-10-21T15:18:01Z) - Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring
Systems [64.4896118325552]
モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。
AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
論文 参考訳(メタデータ) (2020-07-14T03:49:43Z) - Happy Are Those Who Grade without Seeing: A Multi-Task Learning Approach
to Grade Essays Using Gaze Behaviour [33.43203339371381]
本稿では,視線行動を用いたエッセイ自動評価法を提案する。
4つのエッセイセットにまたがる48のエッセイの視線行動を学び、残りのエッセイの視線行動を学び、7000以上のエッセイを数える。
論文 参考訳(メタデータ) (2020-05-25T12:38:47Z) - Improving Readability for Automatic Speech Recognition Transcription [50.86019112545596]
我々は、可読性のためのASRポストプロセッシング(APR)と呼ばれる新しいNLPタスクを提案する。
APRは、ノイズの多いASR出力を、話者の意味を保ちながら、人間や下流タスクのための読みやすいテキストに変換することを目的としている。
我々は,いくつかのオープンソースモデルと適応型事前学習モデルに基づく微調整モデルと,従来のパイプライン手法との比較を行った。
論文 参考訳(メタデータ) (2020-04-09T09:26:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。