論文の概要: Automated Essay Scoring Using Grammatical Variety and Errors with Multi-Task Learning and Item Response Theory
- arxiv url: http://arxiv.org/abs/2406.08817v1
- Date: Thu, 13 Jun 2024 05:19:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-14 21:18:27.683968
- Title: Automated Essay Scoring Using Grammatical Variety and Errors with Multi-Task Learning and Item Response Theory
- Title（参考訳）: マルチタスク学習と項目応答理論を用いた文法的変量と誤りを用いた自動評価
- Authors: Kosuke Doi, Katsuhito Sudoh, Satoshi Nakamura,
- Abstract要約: AESモデルの入力には,著者がエッセイで正しく用いた文法項目と文法誤差の2種類の文法特徴を用いる。
実験結果から,エッセイの総合的なスコアを予測するAESモデルの性能は,文法的特徴により向上することが示された。
- 参考スコア（独自算出の注目度）: 14.855652150434416
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study examines the effect of grammatical features in automatic essay scoring (AES). We use two kinds of grammatical features as input to an AES model: (1) grammatical items that writers used correctly in essays, and (2) the number of grammatical errors. Experimental results show that grammatical features improve the performance of AES models that predict the holistic scores of essays. Multi-task learning with the holistic and grammar scores, alongside using grammatical features, resulted in a larger improvement in model performance. We also show that a model using grammar abilities estimated using Item Response Theory (IRT) as the labels for the auxiliary task achieved comparable performance to when we used grammar scores assigned by human raters. In addition, we weight the grammatical features using IRT to consider the difficulty of grammatical items and writers' grammar abilities. We found that weighting grammatical features with the difficulty led to further improvement in performance.
- Abstract（参考訳）: 自動エッセイスコアリング(AES)における文法的特徴の影響について検討した。
AESモデルの入力には,(1)著者がエッセイで正しく用いた文法的項目,(2)文法的誤りの数という2種類の文法的特徴を用いる。
実験結果から,エッセイの総合的なスコアを予測するAESモデルの性能は,文法的特徴により向上することが示された。
総合的および文法的スコアを用いたマルチタスク学習と文法的特徴の併用により,モデル性能が向上した。
また,副作業のラベルとしてIRTを用いて推定した文法能力を用いたモデルが,人間のレーダに割り当てられた文法スコアと同等の性能を示した。
さらに、IRTを用いた文法的特徴を重み付けし、文法的項目や著者の文法的能力の難しさを考察する。
文法的特徴と難易度を重み付けすることで、性能がさらに向上することを発見した。
関連論文リスト
- Towards Prompt Generalization: Grammar-aware Cross-Prompt Automated Essay Scoring [5.906031288935515]
本稿では,ジェネリックエッセイ表現を学習するために,文法対応型クロスプロンプト特性スコアリング(GAPS)を提案する。
我々は文法誤り訂正技術を用いてエッセイにおける文法誤り訂正情報を取得し,これらの情報をシームレスに統合するAESモデルを設計する。
GAPSは、最も困難なクロスプロンプトシナリオにおいて顕著なQWK向上を実現し、目に見えないプロンプトを評価する上での強みを強調している。
論文 参考訳（メタデータ） (2025-02-12T14:41:20Z) - Principles of semantic and functional efficiency in grammatical patterning [1.6267479602370545]
数や性別などの文法的特徴は、人間の言語において2つの中心的な機能を持つ。
数と性別は、数奇性やアニマシーのような有能な意味的属性を符号化するが、予測可能な単語のリンクによる文処理コストをオフロードする。
文法は多種多様な言語にまたがって一貫した組織パターンを示しており、しばしば意味論的基盤に根ざしている。
論文 参考訳（メタデータ） (2024-10-21T10:49:54Z) - Grammar Induction from Visual, Speech and Text [91.98797120799227]
本研究は、新しい視覚音声テキスト文法誘導タスク(textbfVAT-GI)を導入する。
言語文法がテキストを超えて存在するという事実に触発されて、テキストは文法帰納において支配的なモダリティであってはならないと論じる。
そこで本稿では,豊富なモーダル特化機能と補完機能を有効文法解析に活用した,ビジュアル・オーディオ・テキスト・インサイド・アウトサイド・オートエンコーダ(textbfVaTiora)フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-01T02:24:18Z) - Neural Automated Writing Evaluation with Corrective Feedback [4.0230668961961085]
本稿では,修正フィードバックを用いた自動筆記評価システムを提案する。
このシステムにより、言語学習者はエッセイの執筆テストをシミュレートできる。
また、無数のエッセイを手作業で修正することの負担を軽減する。
論文 参考訳（メタデータ） (2024-02-27T15:42:33Z) - A Syntax-Guided Grammatical Error Correction Model with Dependency Tree
Correction [83.14159143179269]
文法的誤り訂正(英: Grammatical Error Correction, GEC)は、文中の文法的誤りを検出し、訂正するタスクである。
本稿では,依存木の構文知識を利用するためのグラフアテンション機構を採用した構文誘導型GECモデル(SG-GEC)を提案する。
我々は、GECタスクの公開ベンチマークでモデルを評価し、競争結果を得る。
論文 参考訳（メタデータ） (2021-11-05T07:07:48Z) - Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。
実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2021-09-20T18:40:37Z) - VLGrammar: Grounded Grammar Induction of Vision and Language [86.88273769411428]
共同学習枠組みにおける視覚と言語の基底文法誘導について検討する。
本稿では,複合確率文脈自由文法(pcfgs)を用いて言語文法と画像文法を同時に誘導する手法であるvlgrammarを提案する。
論文 参考訳（メタデータ） (2021-03-24T04:05:08Z) - Word Frequency Does Not Predict Grammatical Knowledge in Language Models [2.1984302611206537]
言語モデルの精度には,系統的な変化源が存在するかを検討する。
特定の名詞は他の名詞よりも体系的によく理解されており、文法的タスクや異なる言語モデルに対して頑健である。
名詞の文法的特性は,様々な訓練データからほとんど学習されないことが判明した。
論文 参考訳（メタデータ） (2020-10-26T19:51:36Z) - Improving the Efficiency of Grammatical Error Correction with Erroneous
Span Detection and Correction [106.63733511672721]
ESD(Eroneous Span Detection)とESC(Eroneous Span Correction)の2つのサブタスクに分割することで、文法的誤り訂正(GEC)の効率を改善するための言語に依存しない新しいアプローチを提案する。
ESDは、効率的なシーケンスタグ付けモデルを用いて文法的に誤りテキストスパンを識別する。ESCは、Seq2seqモデルを利用して、注釈付き誤字スパンの文を入力として取り、これらのスパンの修正テキストのみを出力する。
実験の結果,提案手法は英語と中国語のGECベンチマークにおいて従来のセク2seq手法と同等に動作し,推論に要するコストは50%以下であった。
論文 参考訳（メタデータ） (2020-10-07T08:29:11Z) - On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。
結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
論文 参考訳（メタデータ） (2020-05-12T11:01:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。