論文の概要: Enhancing Essay Scoring with Adversarial Weights Perturbation and
Metric-specific AttentionPooling
- arxiv url: http://arxiv.org/abs/2401.05433v1
- Date: Sat, 6 Jan 2024 06:05:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 08:24:29.163545
- Title: Enhancing Essay Scoring with Adversarial Weights Perturbation and
Metric-specific AttentionPooling
- Title（参考訳）: 対向重みの摂動とメトリック特異的アテンションポーリングによる評価の強化
- Authors: Jiaxin Huang, Xinyu Zhao, Chang Che, Qunwei Lin, Bo Liu
- Abstract要約: 本研究は, ELLsの筆記能力を評価するため, BERT関連技術の応用について検討した。
ELLの具体的なニーズに対処するために,最先端のニューラルネットワークモデルであるDeBERTaを提案する。
- 参考スコア（独自算出の注目度）: 18.182517741584707
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The objective of this study is to improve automated feedback tools designed
for English Language Learners (ELLs) through the utilization of data science
techniques encompassing machine learning, natural language processing, and
educational data analytics. Automated essay scoring (AES) research has made
strides in evaluating written essays, but it often overlooks the specific needs
of English Language Learners (ELLs) in language development. This study
explores the application of BERT-related techniques to enhance the assessment
of ELLs' writing proficiency within AES.
To address the specific needs of ELLs, we propose the use of DeBERTa, a
state-of-the-art neural language model, for improving automated feedback tools.
DeBERTa, pretrained on large text corpora using self-supervised learning,
learns universal language representations adaptable to various natural language
understanding tasks. The model incorporates several innovative techniques,
including adversarial training through Adversarial Weights Perturbation (AWP)
and Metric-specific AttentionPooling (6 kinds of AP) for each label in the
competition.
The primary focus of this research is to investigate the impact of
hyperparameters, particularly the adversarial learning rate, on the performance
of the model. By fine-tuning the hyperparameter tuning process, including the
influence of 6AP and AWP, the resulting models can provide more accurate
evaluations of language proficiency and support tailored learning tasks for
ELLs. This work has the potential to significantly benefit ELLs by improving
their English language proficiency and facilitating their educational journey.
- Abstract（参考訳）: 本研究の目的は、機械学習、自然言語処理、教育データ分析を含むデータサイエンス技術を活用することにより、英語学習者(ELL)向けに設計された自動フィードバックツールを改善することである。
自動エッセイスコアリング(aes)研究は、文章エッセイの評価に力を入れているが、言語開発における英語学習者(ells)のニーズをしばしば見落としている。
本研究では, BERT 関連技術を用いて, AES における ELL の筆記能力を評価する。
ELLの特定のニーズに対処するため、我々は、自動フィードバックツールを改善するために最先端のニューラルネットワークモデルであるDeBERTaを提案する。
DeBERTaは、自己教師付き学習を用いた大規模テキストコーパスで事前訓練され、様々な自然言語理解タスクに適応する普遍言語表現を学習する。
このモデルには、AWP(Adversarial Weights Perturbation)と6種類のAP(Metric-specific AttentionPooling)による敵の訓練を含む、いくつかの革新的な技術が含まれている。
本研究の主な焦点は,ハイパーパラメータ,特に逆学習率がモデルの性能に与える影響を検討することである。
6AP と AWP の影響を含むハイパーパラメータチューニングプロセスの微調整により、得られたモデルは言語習熟度をより正確に評価し、ELL に適した学習タスクをサポートすることができる。
この研究は、英語の習熟度を向上し、教育旅行を円滑にすることで、ELLに多大な利益をもたらす可能性がある。
関連論文リスト
- Scalable Language Model with Generalized Continual Learning [58.700439919096155]
The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。
提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
論文 参考訳（メタデータ） (2024-04-11T04:22:15Z) - Application of GPT Language Models for Innovation in Activities in University Teaching [0.0]
GPT(Generative Pre-trained Transformer)は、人工知能および自然言語処理技術である。
様々な分野の大学教育にGPT言語モデルを適用することへの関心が高まっている。
論文 参考訳（メタデータ） (2024-03-15T14:31:52Z) - Selective Forgetting: Advancing Machine Unlearning Techniques and
Evaluation in Language Models [24.784439330058095]
本研究では,個人や機密データを不注意に保持するニューラルモデルに関する懸念について検討する。
言語モデル内で、正確かつ選択的に忘れることを実現するために、新しいアプローチが導入された。
S-EL(Sensitive Information extract Likelihood)とS-MA(Sensitive Information Memory Accuracy)の2つの革新的な評価指標が提案されている。
論文 参考訳（メタデータ） (2024-02-08T16:50:01Z) - Empirical Study of Large Language Models as Automated Essay Scoring
Tools in English Composition__Taking TOEFL Independent Writing Task for
Example [25.220438332156114]
本研究では,大規模言語モデルの顕著な代表者であるChatGPTの機能と制約を評価することを目的とする。
本研究はChatGPTを用いて,小さなサンプルサイズであっても,英語エッセイの自動評価を行う。
論文 参考訳（メタデータ） (2024-01-07T07:13:50Z) - SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。
メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。
実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
論文 参考訳（メタデータ） (2023-07-15T08:33:08Z) - Exploring Large Language Model for Graph Data Understanding in Online
Job Recommendations [63.19448893196642]
本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。
この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
論文 参考訳（メタデータ） (2023-07-10T11:29:41Z) - Interactive Natural Language Processing [67.87925315773924]
対話型自然言語処理(iNLP)は,NLP分野における新しいパラダイムとして登場した。
本稿では,iNLPの概念の統一的定義と枠組みを提案することから,iNLPに関する包括的調査を行う。
論文 参考訳（メタデータ） (2023-05-22T17:18:29Z) - Context Matters: A Strategy to Pre-train Language Model for Science
Education [4.053049694533914]
BERTベースの言語モデルは、様々な言語関連タスクにおいて、従来のNLPモデルよりも大きな優位性を示している。
学生が使用する言語は、BERTのトレーニングソースであるジャーナルやウィキペディアの言語とは異なる。
本研究は,教育領域におけるドメイン固有データに対する継続事前学習の有効性を確認した。
論文 参考訳（メタデータ） (2023-01-27T23:50:16Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - Sample Efficient Approaches for Idiomaticity Detection [6.481818246474555]
本研究は, 慣用性検出の効率的な手法を探索する。
特に,いくつかの分類法であるPET(Pattern Exploit Training)と,文脈埋め込みの効率的な方法であるBERTRAM(BERTRAM)の影響について検討した。
実験の結果,PETは英語のパフォーマンスを向上するが,ポルトガル語やガリシア語では効果が低下し,バニラmBERTと同程度の総合的な性能が得られた。
論文 参考訳（メタデータ） (2022-05-23T13:46:35Z) - TextFlint: Unified Multilingual Robustness Evaluation Toolkit for
Natural Language Processing [73.16475763422446]
NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。
普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。
TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
論文 参考訳（メタデータ） (2021-03-21T17:20:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。