論文の概要: Automated Topical Component Extraction Using Neural Network Attention
Scores from Source-based Essay Scoring
- arxiv url: http://arxiv.org/abs/2008.01809v1
- Date: Tue, 4 Aug 2020 20:13:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-03 00:13:54.831093
- Title: Automated Topical Component Extraction Using Neural Network Attention
Scores from Source-based Essay Scoring
- Title(参考訳): ソースベース評価スコアからニューラルネットワーク注意スコアを用いた話題成分の自動抽出
- Authors: Haoran Zhang and Diane Litman
- Abstract要約: 本稿では,自動エッセイ評価(AES)と自動筆記評価(AWE)をリンクする手法を提案する。
トピックコンポーネント(TC)を必要とする特徴ベースのAESを用いて性能を評価する。
その結果,1)エッセイを古風な特徴として表現し,2)エッセイを段階的に評価する。
- 参考スコア(独自算出の注目度): 15.234595490118542
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While automated essay scoring (AES) can reliably grade essays at scale,
automated writing evaluation (AWE) additionally provides formative feedback to
guide essay revision. However, a neural AES typically does not provide useful
feature representations for supporting AWE. This paper presents a method for
linking AWE and neural AES, by extracting Topical Components (TCs) representing
evidence from a source text using the intermediate output of attention layers.
We evaluate performance using a feature-based AES requiring TCs. Results show
that performance is comparable whether using automatically or manually
constructed TCs for 1) representing essays as rubric-based features, 2) grading
essays.
- Abstract(参考訳): 自動エッセイスコア(AES)は大規模なエッセイを確実に評価できるが、自動筆記評価(AWE)はエッセイリビジョンをガイドするための形式的なフィードバックを提供する。
しかし、神経性AESは通常、AWEをサポートするのに有用な特徴表現を提供しない。
本稿では,AWEとニューラルAESをリンクする手法として,アテンション層の中間出力を用いて,ソーステキストからエビデンスを表すTopical Components (TC)を抽出する。
特徴量に基づくAESによる性能評価を行った。
結果から、自動または手動で構築されたTCを使用するか、パフォーマンスは同等であることが示された。
1) ルブリック的特徴としてのエッセイの表現
2)エッセイの格付け。
関連論文リスト
- CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。
最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。
CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
論文 参考訳(メタデータ) (2024-05-17T07:43:25Z) - Graded Relevance Scoring of Written Essays with Dense Retrieval [4.021352247826289]
本稿では,高密度検索エンコーダを用いたエッセイの妥当性評価手法を提案する。
コントラスト学習で事前学習されたContrieverを活用し,教師付き高密度検索モデルに匹敵する性能を示した。
本手法はタスク固有のシナリオにおいて新しい最先端性能を確立し,クロスタスクシナリオに対する拡張は,そのシナリオに対する最先端モデルに匹敵する性能を示した。
論文 参考訳(メタデータ) (2024-05-08T16:37:58Z) - Transformer-based Joint Modelling for Automatic Essay Scoring and Off-Topic Detection [3.609048819576875]
我々は、エッセイを共同でスコア付けし、非トピックエッセイを検出する、教師なしのテクニックを提案している。
提案手法は,2つのエッセイ・スコリング・データセットに対して,作成したベースラインと従来手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2024-03-24T21:44:14Z) - Prompt- and Trait Relation-aware Cross-prompt Essay Trait Scoring [3.6825890616838066]
自動エッセイスコアリング(AES)は、与えられたプロンプトのために書かれたエッセイをスコアリングすることを目的とする。
既存のAESシステムの多くは、トレーニングで使用されるのと同じプロンプトのエッセイを格付けし、総合的なスコアのみを割り当てている。
本稿では,プロンプトとトレーサの関係を意識したエッセイ・エッセイ・トレーサ・スコアラというロバストなモデルを提案する。
論文 参考訳(メタデータ) (2023-05-26T11:11:19Z) - Towards Interpretable and Efficient Automatic Reference-Based
Summarization Evaluation [160.07938471250048]
解釈可能性と効率性は、ニューラル自動メトリクスを採用する上で重要な2つの考慮事項である。
我々は,参照ベース要約評価のための高性能自動メトリクスを開発する。
論文 参考訳(メタデータ) (2023-03-07T02:49:50Z) - Deep Learning Architecture for Automatic Essay Scoring [0.0]
本稿では、リカレントネットワーク(RNN)と畳み込みニューラルネットワーク(CNN)に基づく新しいアーキテクチャを提案する。
提案アーキテクチャでは, 単語埋め込みベクトルから, 単語n-gramの文脈的特徴を学習し, 捉える。
提案方式は,他の深層学習に基づくAESシステムよりも格付け精度が高い。
論文 参考訳(メタデータ) (2022-06-16T14:56:24Z) - Automated Evaluation for Student Argumentative Writing: A Survey [2.9466390764652415]
本稿では,学生論文の自動評価という,未研究領域における研究成果の調査と整理を行う。
全体論的なエッセイ評価に焦点を当てた従来の自動筆記評価とは異なり、この分野はより具体的であり、議論的なエッセイを評価し、特定のフィードバックを提供する。
論文 参考訳(メタデータ) (2022-05-09T07:27:59Z) - Question-Based Salient Span Selection for More Controllable Text
Summarization [67.68208237480646]
本稿では,質問応答(QA)信号を要約モデルに組み込む手法を提案する。
提案手法は,入力文書中の有声名詞句(NP)を自動生成することで同定する。
このQAベースの信号は、2段階の要約モデルに組み込まれ、まず分類モデルを用いて入力文書中の有能なNPをマークし、その後、条件付きで要約を生成する。
論文 参考訳(メタデータ) (2021-11-15T17:36:41Z) - Weakly-Supervised Aspect-Based Sentiment Analysis via Joint
Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。
We learn sentiment, aspects> joint topic embeddeds in the word embedding space。
次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文 参考訳(メタデータ) (2020-10-13T21:33:24Z) - Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring
Systems [64.4896118325552]
モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。
AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
論文 参考訳(メタデータ) (2020-07-14T03:49:43Z) - Improving Readability for Automatic Speech Recognition Transcription [50.86019112545596]
我々は、可読性のためのASRポストプロセッシング(APR)と呼ばれる新しいNLPタスクを提案する。
APRは、ノイズの多いASR出力を、話者の意味を保ちながら、人間や下流タスクのための読みやすいテキストに変換することを目的としている。
我々は,いくつかのオープンソースモデルと適応型事前学習モデルに基づく微調整モデルと,従来のパイプライン手法との比較を行った。
論文 参考訳(メタデータ) (2020-04-09T09:26:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。