論文の概要: Many Hands Make Light Work: Using Essay Traits to Automatically Score
Essays
- arxiv url: http://arxiv.org/abs/2102.00781v1
- Date: Mon, 1 Feb 2021 11:31:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-02 17:01:01.258273
- Title: Many Hands Make Light Work: Using Essay Traits to Automatically Score
Essays
- Title(参考訳): 多くの手が軽い仕事をする: 自動スコアのエッセイにエッセイの跡を使用する
- Authors: Rahul Kumar, Sandeep Mathias, Sriparna Saha, Pushpak Bhattacharyya
- Abstract要約: マルチタスク学習(MTL)アプローチを用いて,エッセイを総合的に評価する方法を述べる。
LSTMとBiLSTMの両方を用いて,STL(Single-task Learning)アプローチとの比較を行った。
MTLをベースとしたBiLSTMシステムは,エッセイ特性の評価だけでなく,エッセイ特性の評価にも有効であることがわかった。
- 参考スコア(独自算出の注目度): 41.851075178681015
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most research in the area of automatic essay grading (AEG) is geared towards
scoring the essay holistically while there has also been some work done on
scoring individual essay traits. In this paper, we describe a way to score
essays holistically using a multi-task learning (MTL) approach, where scoring
the essay holistically is the primary task, and scoring the essay traits is the
auxiliary task. We compare our results with a single-task learning (STL)
approach, using both LSTMs and BiLSTMs. We also compare our results of the
auxiliary task with such tasks done in other AEG systems. To find out which
traits work best for different types of essays, we conduct ablation tests for
each of the essay traits. We also report the runtime and number of training
parameters for each system. We find that MTL-based BiLSTM system gives the best
results for scoring the essay holistically, as well as performing well on
scoring the essay traits.
- Abstract(参考訳): aeg(automatic essay grading)の分野におけるほとんどの研究は、エッセイの総合的なスコア付けに向けられているが、個々のエッセイの特徴をスコアリングする作業も行われている。
本論文では,マルチタスク学習(MTL)手法を用いてエッセイを体系的に採点する方法について述べる。ここでは,エッセイを体系的に採点することが主課題であり,エッセイ特性を採点することが補助課題である。
LSTMとBiLSTMの両方を用いて,STL(Single-task Learning)アプローチとの比較を行った。
また,補助作業の結果を他のaegシステムで実施したタスクと比較した。
異なる種類のエッセイにどの特性が最適かを調べるために、エッセイのそれぞれの特徴に対してアブレーションテストを実施します。
また、各システムのランタイムとトレーニングパラメータの数を報告します。
MTLをベースとしたBiLSTMシステムは,エッセイ特性の評価だけでなく,エッセイ特性の評価にも有効であることがわかった。
関連論文リスト
- Can Large Language Models Automatically Score Proficiency of Written
Essays? [4.362723406385396]
大規模言語モデル(LLMs)は、様々なタスクにおいて異常な能力を示すトランスフォーマーベースのモデルである。
我々は,LLMの強力な言語知識を活かして,エッセイを分析し,効果的に評価する能力をテストする。
論文 参考訳(メタデータ) (2024-03-10T09:39:00Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-02T14:18:11Z) - Review of feedback in Automated Essay Scoring [6.445605125467574]
最初の自動エッセイ評価システムは50年前に開発された。
本稿では,異なるフィードバックタイプやエッセイ特性を含むフィードバックについて,自動エッセイ評価について検討する。
論文 参考訳(メタデータ) (2023-07-09T11:04:13Z) - Prompt- and Trait Relation-aware Cross-prompt Essay Trait Scoring [3.6825890616838066]
自動エッセイスコアリング(AES)は、与えられたプロンプトのために書かれたエッセイをスコアリングすることを目的とする。
既存のAESシステムの多くは、トレーニングで使用されるのと同じプロンプトのエッセイを格付けし、総合的なスコアのみを割り当てている。
本稿では,プロンプトとトレーサの関係を意識したエッセイ・エッセイ・トレーサ・スコアラというロバストなモデルを提案する。
論文 参考訳(メタデータ) (2023-05-26T11:11:19Z) - Multi-Task Instruction Tuning of LLaMa for Specific Scenarios: A
Preliminary Study on Writing Assistance [60.40541387785977]
小さな基礎モデルは、命令駆動データを用いて微調整された場合、多様なタスクに対処する際、顕著な習熟度を示すことができる。
本研究は, 汎用的な指導よりも, 1つないし数つの特定のタスクに主眼を置いている, 実践的な問題設定について検討する。
実験結果から,命令データに対する微調整LLaMAは,タスクの記述能力を大幅に向上することが示された。
論文 参考訳(メタデータ) (2023-05-22T16:56:44Z) - AI, write an essay for me: A large-scale comparison of human-written
versus ChatGPT-generated essays [66.36541161082856]
ChatGPTや同様の生成AIモデルは、何億人ものユーザーを惹きつけている。
本研究は,ChatGPTが生成した議論的学生エッセイと比較した。
論文 参考訳(メタデータ) (2023-04-24T12:58:28Z) - "It's a Match!" -- A Benchmark of Task Affinity Scores for Joint
Learning [74.14961250042629]
MTL(Multi-Task Learning)は、その成功の条件を特徴づけることが、ディープラーニングにおいて依然としてオープンな問題である、と約束する。
共同学習におけるタスク親和性の推定は重要な取り組みである。
最近の研究は、訓練条件自体がMTLの結果に重大な影響を与えることを示唆している。
しかし,本研究では,タスク親和性評価手法の有効性を評価するためのベンチマークが欠落している。
論文 参考訳(メタデータ) (2023-01-07T15:16:35Z) - My Teacher Thinks The World Is Flat! Interpreting Automatic Essay
Scoring Mechanism [71.34160809068996]
最近の研究では、自動スコアリングシステムが常識的な敵対的サンプルになりやすいことが示されています。
近年の解釈能力の進歩を活かし,コヒーレンスやコンテント,関連性といった特徴がスコアリングの自動化にどの程度重要であるかを見出す。
また、モデルが意味的に世界知識や常識に基づかないことから、世界のような虚偽の事実を追加することは、それを減らすよりもむしろスコアを増加させる。
論文 参考訳(メタデータ) (2020-12-27T06:19:20Z) - Automated Topical Component Extraction Using Neural Network Attention
Scores from Source-based Essay Scoring [15.234595490118542]
本稿では,自動エッセイ評価(AES)と自動筆記評価(AWE)をリンクする手法を提案する。
トピックコンポーネント(TC)を必要とする特徴ベースのAESを用いて性能を評価する。
その結果,1)エッセイを古風な特徴として表現し,2)エッセイを段階的に評価する。
論文 参考訳(メタデータ) (2020-08-04T20:13:51Z) - Happy Are Those Who Grade without Seeing: A Multi-Task Learning Approach
to Grade Essays Using Gaze Behaviour [33.43203339371381]
本稿では,視線行動を用いたエッセイ自動評価法を提案する。
4つのエッセイセットにまたがる48のエッセイの視線行動を学び、残りのエッセイの視線行動を学び、7000以上のエッセイを数える。
論文 参考訳(メタデータ) (2020-05-25T12:38:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。