論文の概要: On the Use of BERT for Automated Essay Scoring: Joint Learning of
Multi-Scale Essay Representation
- arxiv url: http://arxiv.org/abs/2205.03835v1
- Date: Sun, 8 May 2022 10:36:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-10 13:54:32.839366
- Title: On the Use of BERT for Automated Essay Scoring: Joint Learning of
Multi-Scale Essay Representation
- Title（参考訳）: 自動エッセイスコーリングにおけるBERTの利用について:マルチスケールエッセイ表現の連成学習
- Authors: Yongjie Wang and Chuan Wang and Ruobing Li and Hui Lin
- Abstract要約: 本稿では,BERTの多人数エッセイ表現について紹介する。
実験結果から,本手法は多スケールエッセイ表現の共用学習から大きな恩恵を受けることが明らかとなった。
マルチスケールエッセイ表現もCommonLit Readability Prizeデータセットによく似ています。
- 参考スコア（独自算出の注目度）: 12.896747108919968
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, pre-trained models have become dominant in most natural
language processing (NLP) tasks. However, in the area of Automated Essay
Scoring (AES), pre-trained models such as BERT have not been properly used to
outperform other deep learning models such as LSTM. In this paper, we introduce
a novel multi-scale essay representation for BERT that can be jointly learned.
We also employ multiple losses and transfer learning from out-of-domain essays
to further improve the performance. Experiment results show that our approach
derives much benefit from joint learning of multi-scale essay representation
and obtains almost the state-of-the-art result among all deep learning models
in the ASAP task. Our multi-scale essay representation also generalizes well to
CommonLit Readability Prize data set, which suggests that the novel text
representation proposed in this paper may be a new and effective choice for
long-text tasks.
- Abstract（参考訳）: 近年,自然言語処理(nlp)タスクにおいて,事前学習モデルが主流となっている。
しかし、AES(Automated Essay Scoring)の分野では、BERTのような事前学習モデルがLSTMのような他のディープラーニングモデルより優れているわけではない。
本稿では, bert の多元的エッセイ表現について, 共同学習が可能な新しいエッセイ表現を提案する。
また、ドメイン外のエッセイから複数の損失と転校学習を取り入れ、パフォーマンスをさらに向上させます。
実験の結果,本手法はマルチスケールエッセイ表現の合同学習から得られる多くの利点を示し,asapタスクにおけるすべてのディープラーニングモデルにおける最先端の成果を得た。
また,本論文では,本論文で提案する新しいテキスト表現が長文課題の新規かつ効果的な選択である可能性を示唆する。
関連論文リスト
- Scalable Language Model with Generalized Continual Learning [58.700439919096155]
The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。
提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
論文 参考訳（メタデータ） (2024-04-11T04:22:15Z) - Improving Text Embeddings with Large Language Models [59.930513259982725]
合成データと1k以下のトレーニングステップのみを用いて,高品質なテキスト埋め込みを実現するための,新しい簡易な手法を提案する。
我々は、93言語にまたがる数十万のテキスト埋め込みタスクのための多様な合成データを生成するために、プロプライエタリなLLMを活用している。
実験により,ラベル付きデータを使わずに,高度に競争力のあるテキスト埋め込みベンチマークにおいて高い性能が得られることが示された。
論文 参考訳（メタデータ） (2023-12-31T02:13:18Z) - UniDoc: A Universal Large Multimodal Model for Simultaneous Text
Detection, Recognition, Spotting and Understanding [93.92313947913831]
テキスト検出と認識機能を備えた新しいマルチモーダルモデルUniDocを紹介する。
我々の知る限りでは、これはテキストの検出、認識、スポッティング、理解を同時に行うことができる最初の大規模マルチモーダルモデルである。
論文 参考訳（メタデータ） (2023-08-19T17:32:34Z) - Towards General Text Embeddings with Multi-stage Contrastive Learning [20.803769345818456]
GTEは多段階のコントラスト学習で訓練された汎用テキスト埋め込みモデルである。
複数の情報源からの多様なデータセットに対してコントラスト学習を用いることで、統一的なテキスト埋め込みモデルを訓練する。
論文 参考訳（メタデータ） (2023-08-07T03:52:59Z) - Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。
実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
論文 参考訳（メタデータ） (2023-03-02T09:03:43Z) - The Next Chapter: A Study of Large Language Models in Storytelling [51.338324023617034]
大規模言語モデル(LLM)を用いたプロンプトベース学習の適用は,自然言語処理(NLP)タスクにおいて顕著な性能を示した。
本稿では,LLMのストーリー生成能力と最近のモデルを比較するために,自動評価と人的評価の両方を利用した総合的な調査を行う。
その結果、LLMは他のストーリー生成モデルと比較して、非常に高い品質のストーリーを生成することがわかった。
論文 参考訳（メタデータ） (2023-01-24T02:44:02Z) - A Unified Neural Network Model for Readability Assessment with Feature
Projection and Length-Balanced Loss [17.213602354715956]
本稿では,可読性評価のための特徴投影と長さバランス損失を考慮したBERTモデルを提案する。
本モデルは,2つの英語ベンチマークデータセットと1つの中国語教科書データセットを用いて,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-10-19T05:33:27Z) - SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark
for Semantic and Generative Capabilities [76.97949110580703]
各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。
データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。
また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
論文 参考訳（メタデータ） (2022-03-14T04:26:40Z) - Transferring BERT-like Transformers' Knowledge for Authorship
Verification [8.443350618722562]
著者確認作業におけるBERT様変圧器の有効性について検討した。
我々はPAN-2020の新しいスプリットを提供し、不連続なトピックや著者からトレーニングデータとテストデータをサンプリングする。
これらの分割は、新しい、かなり異なるデータセット上で知識を伝達するモデルの能力を高めることができることを示す。
論文 参考訳（メタデータ） (2021-12-09T18:57:29Z) - Comparing BERT against traditional machine learning text classification [0.0]
BERTモデルは近年、最先端の機械学習モデルとして人気を博している。
本研究の目的は,NLPタスクのデフォルトとしてBERTの使用を支持するか拒否する経験的エビデンスを追加することである。
論文 参考訳（メタデータ） (2020-05-26T20:14:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。