論文の概要: Get It Scored Using AutoSAS -- An Automated System for Scoring Short
Answers
- arxiv url: http://arxiv.org/abs/2012.11243v1
- Date: Mon, 21 Dec 2020 10:47:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-27 06:36:59.489074
- Title: Get It Scored Using AutoSAS -- An Automated System for Scoring Short
Answers
- Title(参考訳): Get it Scored using AutoSAS -- 短い回答をスコーリングする自動化システム
- Authors: Yaman Kumar, Swati Aggarwal, Debanjan Mahata, Rajiv Ratn Shah,
Ponnurangam Kumaraguru, Roger Zimmermann
- Abstract要約: SAS(Automatic Short Answer Scoring)への高速でスケーラブルで正確なアプローチを提示します。
SASのためのシステム、すなわちAutoSASの設計と開発を提案し、説明します。
AutoSASは最先端のパフォーマンスを示し、いくつかの質問のプロンプトで8%以上良い結果が得られる。
- 参考スコア(独自算出の注目度): 63.835172924290326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the era of MOOCs, online exams are taken by millions of candidates, where
scoring short answers is an integral part. It becomes intractable to evaluate
them by human graders. Thus, a generic automated system capable of grading
these responses should be designed and deployed. In this paper, we present a
fast, scalable, and accurate approach towards automated Short Answer Scoring
(SAS). We propose and explain the design and development of a system for SAS,
namely AutoSAS. Given a question along with its graded samples, AutoSAS can
learn to grade that prompt successfully. This paper further lays down the
features such as lexical diversity, Word2Vec, prompt, and content overlap that
plays a pivotal role in building our proposed model. We also present a
methodology for indicating the factors responsible for scoring an answer. The
trained model is evaluated on an extensively used public dataset, namely
Automated Student Assessment Prize Short Answer Scoring (ASAP-SAS). AutoSAS
shows state-of-the-art performance and achieves better results by over 8% in
some of the question prompts as measured by Quadratic Weighted Kappa (QWK),
showing performance comparable to humans.
- Abstract(参考訳): MOOCの時代、オンライン試験は何百万人もの候補者によって行われ、短い回答が不可欠である。
人間の学年で評価するのは難しそうだ。
したがって、これらの応答をグレードできる汎用的な自動化システムは、設計およびデプロイされるべきである。
本稿では,sas(automated short answer scoring)に対する高速,スケーラブル,高精度なアプローチを提案する。
本稿では,SASシステム,すなわちAutoSASの設計と開発について述べる。
AutoSASはそのグレードされたサンプルとともに質問を受け、それをうまく評価する方法を学ぶことができる。
本稿ではさらに,提案モデルの構築において重要な役割を果たす語彙多様性,word2vec,プロンプト,コンテンツ重なりなどの特徴について述べる。
また,回答のスコアを決定する要因を示す手法を提案する。
トレーニングされたモデルは、広く使われている公開データセット、すなわちAutomated Student Assessment Prize Short Answer Scoring (ASAP-SAS)で評価される。
AutoSASは最先端のパフォーマンスを示し、Quadratic Weighted Kappa (QWK)が測定したいくつかの質問プロンプトで8%以上のパフォーマンスを実現し、人間に匹敵するパフォーマンスを示している。
関連論文リスト
- Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳(メタデータ) (2023-10-09T07:27:15Z) - Improving Selective Visual Question Answering by Learning from Your
Peers [74.20167944693424]
VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。
本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。
提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
論文 参考訳(メタデータ) (2023-06-14T21:22:01Z) - ProtSi: Prototypical Siamese Network with Data Augmentation for Few-Shot
Subjective Answer Evaluation [0.8959391124399926]
ProtSi Networkはユニークな半教師付きアーキテクチャであり、初めて数発の学習を使って主観的な回答評価を行う。
教師なし多種多様なパラフレーズモデルであるProtAugmentを用いて、効果的に複数ショットのテキスト分類に過度に適合しないようにする。
論文 参考訳(メタデータ) (2022-11-17T19:33:35Z) - Sim-to-Real 6D Object Pose Estimation via Iterative Self-training for
Robotic Bin-picking [98.5984733963713]
コスト効率の良いロボットグルーピングを容易にするために,シミュレート・トゥ・リアルな6次元オブジェクトのポーズ推定のための反復的自己学習フレームワークを提案する。
我々は、豊富な仮想データを合成するためのフォトリアリスティックシミュレータを構築し、これを初期ポーズ推定ネットワークのトレーニングに利用する。
このネットワークは教師モデルの役割を担い、未ラベルの実データに対するポーズ予測を生成する。
論文 参考訳(メタデータ) (2022-04-14T15:54:01Z) - Using Sampling to Estimate and Improve Performance of Automated Scoring
Systems with Guarantees [63.62448343531963]
本稿では,既存のパラダイムを組み合わせることで,人間が知能的に収集する応答をサンプリングする手法を提案する。
比較的少ない予算で精度(平均19.80%)と二次重み付きカッパ(平均25.60%)の顕著な増加を観察した。
論文 参考訳(メタデータ) (2021-11-17T05:00:51Z) - Text similarity analysis for evaluation of descriptive answers [0.0]
本論文では, テキスト解析に基づく自動評価手法を提案する。
このアーキテクチャでは、検査者は与えられた質問の集合に対するサンプル回答シートを作成する。
テキスト要約、テキスト意味論、キーワード要約の概念を使用して、各回答の最終スコアを計算します。
論文 参考訳(メタデータ) (2021-05-06T20:19:58Z) - Stacking Neural Network Models for Automatic Short Answer Scoring [0.0]
本稿では,ニューラルネットワークとXGBoostに基づく重ね合わせモデルを用いて文埋め込み機能を持つ分類プロセスを提案する。
ベストモデルではF1スコアの0.821が、同じデータセットで前の作業を上回った。
論文 参考訳(メタデータ) (2020-10-21T16:00:09Z) - Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring
Systems [64.4896118325552]
モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。
AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
論文 参考訳(メタデータ) (2020-07-14T03:49:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。