論文の概要: Many Hands Make Light Work: Using Essay Traits to Automatically Score Essays

• arxiv url: http://arxiv.org/abs/2102.00781v1
• Date: Mon, 1 Feb 2021 11:31:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-02 17:01:01.258273
• Title: Many Hands Make Light Work: Using Essay Traits to Automatically Score Essays
• Title（参考訳）: 多くの手が軽い仕事をする: 自動スコアのエッセイにエッセイの跡を使用する
• Authors: Rahul Kumar, Sandeep Mathias, Sriparna Saha, Pushpak Bhattacharyya
• Abstract要約: マルチタスク学習(MTL)アプローチを用いて,エッセイを総合的に評価する方法を述べる。 LSTMとBiLSTMの両方を用いて,STL(Single-task Learning)アプローチとの比較を行った。 MTLをベースとしたBiLSTMシステムは,エッセイ特性の評価だけでなく,エッセイ特性の評価にも有効であることがわかった。
• 参考スコア（独自算出の注目度）: 41.851075178681015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most research in the area of automatic essay grading (AEG) is geared towards scoring the essay holistically while there has also been some work done on scoring individual essay traits. In this paper, we describe a way to score essays holistically using a multi-task learning (MTL) approach, where scoring the essay holistically is the primary task, and scoring the essay traits is the auxiliary task. We compare our results with a single-task learning (STL) approach, using both LSTMs and BiLSTMs. We also compare our results of the auxiliary task with such tasks done in other AEG systems. To find out which traits work best for different types of essays, we conduct ablation tests for each of the essay traits. We also report the runtime and number of training parameters for each system. We find that MTL-based BiLSTM system gives the best results for scoring the essay holistically, as well as performing well on scoring the essay traits.
• Abstract（参考訳）: aeg(automatic essay grading)の分野におけるほとんどの研究は、エッセイの総合的なスコア付けに向けられているが、個々のエッセイの特徴をスコアリングする作業も行われている。 本論文では,マルチタスク学習(MTL)手法を用いてエッセイを体系的に採点する方法について述べる。ここでは,エッセイを体系的に採点することが主課題であり,エッセイ特性を採点することが補助課題である。 LSTMとBiLSTMの両方を用いて,STL(Single-task Learning)アプローチとの比較を行った。 また,補助作業の結果を他のaegシステムで実施したタスクと比較した。 異なる種類のエッセイにどの特性が最適かを調べるために、エッセイのそれぞれの特徴に対してアブレーションテストを実施します。 また、各システムのランタイムとトレーニングパラメータの数を報告します。 MTLをベースとしたBiLSTMシステムは,エッセイ特性の評価だけでなく,エッセイ特性の評価にも有効であることがわかった。

関連論文リスト

• AI, write an essay for me: A large-scale comparison of human-written versus ChatGPT-generated essays [66.36541161082856]
  ChatGPTや同様の生成AIモデルは、何億人ものユーザーを惹きつけている。 本研究は,ChatGPTが生成した議論的学生エッセイと比較した。
  論文  参考訳（メタデータ） (2023-04-24T12:58:28Z)
• ArguGPT: evaluating, understanding and identifying argumentative essays generated by GPT models [5.192843246888883]
  まず、7つのGPTモデルによって生成された4,038の議論的エッセイのバランスの取れたコーパスであるArguGPTを提示する。 そして、機械エッセイと人間のエッセイを区別するために英語のインストラクターを雇います。 その結果、まず機械によるエッセイに触れると、インストラクターは61%の精度しか検出できないことがわかった。
  論文  参考訳（メタデータ） (2023-04-16T01:50:26Z)
• "It's a Match!" -- A Benchmark of Task Affinity Scores for Joint Learning [74.14961250042629]
  MTL(Multi-Task Learning)は、その成功の条件を特徴づけることが、ディープラーニングにおいて依然としてオープンな問題である、と約束する。 共同学習におけるタスク親和性の推定は重要な取り組みである。 最近の研究は、訓練条件自体がMTLの結果に重大な影響を与えることを示唆している。 しかし,本研究では,タスク親和性評価手法の有効性を評価するためのベンチマークが欠落している。
  論文  参考訳（メタデータ） (2023-01-07T15:16:35Z)
• UniSumm: Unified Few-shot Summarization with Multi-Task Pre-Training and Prefix-Tuning [54.59104881168188]
  textscUniSummは、複数の要約タスクで事前訓練された、統合された数ショットの要約モデルである。 textscSummZooは、数ショットの要約システムを評価するための新しいベンチマークである。
  論文  参考訳（メタデータ） (2022-11-17T18:54:47Z)
• On the Use of BERT for Automated Essay Scoring: Joint Learning of Multi-Scale Essay Representation [12.896747108919968]
  本稿では,BERTの多人数エッセイ表現について紹介する。 実験結果から,本手法は多スケールエッセイ表現の共用学習から大きな恩恵を受けることが明らかとなった。 マルチスケールエッセイ表現もCommonLit Readability Prizeデータセットによく似ています。
  論文  参考訳（メタデータ） (2022-05-08T10:36:54Z)
• UniTE: Unified Translation Evaluation [63.58868113074476]
  UniTEは3つの評価タスクをすべて処理する能力に携わる最初の統合フレームワークである。 We testify our framework on WMT 2019 Metrics and WMT 2020 Quality Estimation benchmarks。
  論文  参考訳（メタデータ） (2022-04-28T08:35:26Z)
• My Teacher Thinks The World Is Flat! Interpreting Automatic Essay Scoring Mechanism [71.34160809068996]
  最近の研究では、自動スコアリングシステムが常識的な敵対的サンプルになりやすいことが示されています。 近年の解釈能力の進歩を活かし,コヒーレンスやコンテント,関連性といった特徴がスコアリングの自動化にどの程度重要であるかを見出す。 また、モデルが意味的に世界知識や常識に基づかないことから、世界のような虚偽の事実を追加することは、それを減らすよりもむしろスコアを増加させる。
  論文  参考訳（メタデータ） (2020-12-27T06:19:20Z)
• Automated Topical Component Extraction Using Neural Network Attention Scores from Source-based Essay Scoring [15.234595490118542]
  本稿では,自動エッセイ評価(AES)と自動筆記評価(AWE)をリンクする手法を提案する。 トピックコンポーネント(TC)を必要とする特徴ベースのAESを用いて性能を評価する。 その結果,1)エッセイを古風な特徴として表現し,2)エッセイを段階的に評価する。
  論文  参考訳（メタデータ） (2020-08-04T20:13:51Z)
• Happy Are Those Who Grade without Seeing: A Multi-Task Learning Approach to Grade Essays Using Gaze Behaviour [33.43203339371381]
  本稿では,視線行動を用いたエッセイ自動評価法を提案する。 4つのエッセイセットにまたがる48のエッセイの視線行動を学び、残りのエッセイの視線行動を学び、7000以上のエッセイを数える。
  論文  参考訳（メタデータ） (2020-05-25T12:38:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。