論文の概要: Neural Automated Writing Evaluation with Corrective Feedback
- arxiv url: http://arxiv.org/abs/2402.17613v2
- Date: Mon, 6 May 2024 10:02:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-07 23:26:12.950449
- Title: Neural Automated Writing Evaluation with Corrective Feedback
- Title（参考訳）: 修正フィードバックを用いたニューラル自動筆記評価
- Authors: Izia Xiaoxiao Wang, Xihan Wu, Edith Coates, Min Zeng, Jiexin Kuang, Siliang Liu, Mengyang Qiu, Jungyeul Park,
- Abstract要約: 本稿では,修正フィードバックを用いた自動筆記評価システムを提案する。
このシステムにより、言語学習者はエッセイの執筆テストをシミュレートできる。
また、無数のエッセイを手作業で修正することの負担を軽減する。
- 参考スコア（独自算出の注目度）: 4.0230668961961085
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The utilization of technology in second language learning and teaching has become ubiquitous. For the assessment of writing specifically, automated writing evaluation (AWE) and grammatical error correction (GEC) have become immensely popular and effective methods for enhancing writing proficiency and delivering instant and individualized feedback to learners. By leveraging the power of natural language processing (NLP) and machine learning algorithms, AWE and GEC systems have been developed separately to provide language learners with automated corrective feedback and more accurate and unbiased scoring that would otherwise be subject to examiners. In this paper, we propose an integrated system for automated writing evaluation with corrective feedback as a means of bridging the gap between AWE and GEC results for second language learners. This system enables language learners to simulate the essay writing tests: a student writes and submits an essay, and the system returns the assessment of the writing along with suggested grammatical error corrections. Given that automated scoring and grammatical correction are more efficient and cost-effective than human grading, this integrated system would also alleviate the burden of manually correcting innumerable essays.
- Abstract（参考訳）: 第二言語学習と教育におけるテクノロジーの利用は、ますます広まりつつある。
書字能力の向上と学習者への即時的かつ個別的なフィードバックの提供において,AWE と文法的誤り訂正 (GEC) が極めて普及し,有効な手法となっている。
自然言語処理(NLP)と機械学習アルゴリズムの力を活用して、AWEとGECシステムは別々に開発され、言語学習者に自動修正フィードバックと、検査対象となるより正確で偏りのないスコアを提供する。
本稿では,第2言語学習者を対象としたAWEとGECのギャップを埋める手段として,修正フィードバックを用いた自動筆記評価システムを提案する。
このシステムにより、言語学習者はエッセイを書くためのエッセイをシミュレートすることができる: 学生はエッセイを書いて提出し、システムは提案された文法的誤り訂正と共に文章の評価を返却する。
自動採点と文法的補正が人間の採点よりも効率的で費用対効果が高いことを考えると、この統合システムは無数のエッセイを手作業で修正する負担を軽減する。
関連論文リスト
- Spoken Grammar Assessment Using LLM [10.761744330206065]
音声言語評価システム(SLA: Spoken Language Assessment)は, 話者の発音と口頭流速を分析し, 読み上げ音声と自発音声をそれぞれ分析する。
ほとんどのWLAシステムは、キュレートされた有限サイズの文データベースから一連の文を表示し、テスト質問を予測し、自分自身を訓練することができる。
音声音声から言語文法を評価するための新しいエンドツーエンドSLAシステムを提案し、WLAシステムを冗長にする。
論文 参考訳（メタデータ） (2024-10-02T14:15:13Z) - Grammatical Error Feedback: An Implicit Evaluation Approach [32.98100553225724]
文法的フィードバックは第二言語(L2)学習の統合に不可欠である。
コンピュータ支援言語学習におけるほとんどの研究は、文法的誤り訂正(GEC)システムによるフィードバックに焦点を当てている。
本稿では, ケンブリッジ大学コーパス・ラーナーのエッセイを用いて, GEC によるフィードバック生成の質と必要性, およびフィードバック生成システムについて検討する。
論文 参考訳（メタデータ） (2024-08-18T18:31:55Z) - LLM Critics Help Catch Bugs in Mathematics: Towards a Better Mathematical Verifier with Natural Language Feedback [71.95402654982095]
本研究では,自然言語フィードバック型検証器Math-Minosを提案する。
実験の結果,少量の自然言語フィードバックが検証器の性能を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2024-06-20T06:42:27Z) - Improving the Validity of Automatically Generated Feedback via
Reinforcement Learning [50.067342343957876]
強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。
具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
論文 参考訳（メタデータ） (2024-03-02T20:25:50Z) - DIALIGHT: Lightweight Multilingual Development and Evaluation of
Task-Oriented Dialogue Systems with Large Language Models [76.79929883963275]
DIALIGHTは多言語タスク指向対話(ToD)システムの開発と評価のためのツールキットである。
ローカル発話レベルとグローバル対話レベルの両方において、人間のきめ細かい評価のためのセキュアでユーザフレンドリーなWebインターフェースを備えている。
評価の結果, PLMの微調整により精度とコヒーレンスが向上する一方, LLMベースのシステムは多様で類似した応答を生成するのに優れていた。
論文 参考訳（メタデータ） (2024-01-04T11:27:48Z) - Evaluation of really good grammatical error correction [0.0]
文法的誤り訂正(GEC)は、異なる目的を持つ様々なモデルを含んでいる。
従来の評価手法では、システム機能や目的を完全に把握できない。
論文 参考訳（メタデータ） (2023-08-17T13:45:35Z) - User Adaptive Language Learning Chatbots with a Curriculum [55.63893493019025]
語彙的に制約されたデコーディングをダイアログシステムに適用し、ダイアログシステムに対して、その生成した発話にカリキュラムに準拠した単語やフレーズを含めるよう促す。
評価の結果,カリキュラム注入によるダイアログシステムにより,対象語に対する生徒の理解が向上し,英語実践への関心が高まることが示された。
論文 参考訳（メタデータ） (2023-04-11T20:41:41Z) - Gender Bias and Universal Substitution Adversarial Attacks on
Grammatical Error Correction Systems for Automated Assessment [1.4213973379473654]
GECシステムはしばしば、評価とフィードバックの形式として、英語学習者の音声の書き起こしに使用される。
候補の入力文からGECシステムの文法的に訂正された出力文への編集回数は、候補の言語能力を示す。
本研究は、英語の非母語話者が現実的に、評価に使用されるECCシステムを騙すために使用できる、単純な普遍的置換対逆攻撃について検討する。
論文 参考訳（メタデータ） (2022-08-19T17:44:13Z) - A Proposal of Automatic Error Correction in Text [0.0]
電子テキストにおけるオートグラフィエラーの自動認識と修正の応用を示す。
この提案は、スペイン語の音声テキスト分類、単語類似性、単語辞書、統計測度、形態素解析、n-gramsに基づく言語モデルの一部を基礎としている。
論文 参考訳（メタデータ） (2021-09-24T17:17:56Z) - Curious Case of Language Generation Evaluation Metrics: A Cautionary
Tale [52.663117551150954]
イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。
これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。
本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
論文 参考訳（メタデータ） (2020-10-26T13:57:20Z) - Improving the Efficiency of Grammatical Error Correction with Erroneous
Span Detection and Correction [106.63733511672721]
ESD(Eroneous Span Detection)とESC(Eroneous Span Correction)の2つのサブタスクに分割することで、文法的誤り訂正(GEC)の効率を改善するための言語に依存しない新しいアプローチを提案する。
ESDは、効率的なシーケンスタグ付けモデルを用いて文法的に誤りテキストスパンを識別する。ESCは、Seq2seqモデルを利用して、注釈付き誤字スパンの文を入力として取り、これらのスパンの修正テキストのみを出力する。
実験の結果,提案手法は英語と中国語のGECベンチマークにおいて従来のセク2seq手法と同等に動作し,推論に要するコストは50%以下であった。
論文 参考訳（メタデータ） (2020-10-07T08:29:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。