論文の概要: Annotating Errors in English Learners' Written Language Production: Advancing Automated Written Feedback Systems

• arxiv url: http://arxiv.org/abs/2508.06810v1
• Date: Sat, 09 Aug 2025 04:06:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.558486
• Title: Annotating Errors in English Learners' Written Language Production: Advancing Automated Written Feedback Systems
• Title（参考訳）: 英語学習者の文章生成における誤りの注釈:自動文章フィードバックシステムの改善
• Authors: Steven Coyne, Diana Galvan-Sosa, Ryan Spring, Camélia Guerraoui, Michael Zock, Keisuke Sakaguchi, Kentaro Inui,
• Abstract要約: 本稿では,各エラーのエラータイプと一般化可能性をモデル化するアノテーションフレームワークを提案する。 我々は、注釈付き学習者の誤りとそれに対応する人間によるフィードバックコメントのデータセットを収集する。 我々は、フィードバックを生成するためのキーワード誘導、キーワードフリー、テンプレート誘導の評価を行う。
• 参考スコア（独自算出の注目度）: 25.047364950581265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in natural language processing (NLP) have contributed to the development of automated writing evaluation (AWE) systems that can correct grammatical errors. However, while these systems are effective at improving text, they are not optimally designed for language learning. They favor direct revisions, often with a click-to-fix functionality that can be applied without considering the reason for the correction. Meanwhile, depending on the error type, learners may benefit most from simple explanations and strategically indirect hints, especially on generalizable grammatical rules. To support the generation of such feedback, we introduce an annotation framework that models each error's error type and generalizability. For error type classification, we introduce a typology focused on inferring learners' knowledge gaps by connecting their errors to specific grammatical patterns. Following this framework, we collect a dataset of annotated learner errors and corresponding human-written feedback comments, each labeled as a direct correction or hint. With this data, we evaluate keyword-guided, keyword-free, and template-guided methods of generating feedback using large language models (LLMs). Human teachers examined each system's outputs, assessing them on grounds including relevance, factuality, and comprehensibility. We report on the development of the dataset and the comparative performance of the systems investigated.
• Abstract（参考訳）: 自然言語処理(NLP)の最近の進歩は、文法的誤りを訂正できる自動筆記評価(AWE)システムの開発に寄与している。 しかし,これらのシステムはテキスト改善に有効であるが,言語学習には最適ではない。 彼らは直接修正を好んでおり、しばしば修正の理由を考慮せずに適用できるクリック・トゥ・フィックス機能を備えている。 一方、誤りの種類によっては、学習者は単純な説明や戦略的間接的なヒント、特に一般化可能な文法規則の恩恵を受けることができる。 このようなフィードバックの生成を支援するために,各エラーのエラータイプと一般化可能性をモデル化するアノテーションフレームワークを導入する。 誤り型分類では, 学習者の知識ギャップの推測に焦点をあて, 誤りを特定の文法パターンに結びつける。 本フレームワークでは,アノテートされた学習者の誤りとそれに対応する人間によるフィードバックコメントのデータセットを収集し,それぞれが直接修正やヒントとしてラベル付けされる。 このデータを用いて,大言語モデル(LLM)を用いたフィードバックを生成するキーワード誘導,キーワードフリー,テンプレート誘導の手法を評価する。 人間教師は各システムのアウトプットを調べ、関連性、事実性、理解性などに基づいて評価した。 本研究は,本システムにおけるデータセットの開発と比較性能について報告する。

関連論文リスト

• Tgea: An error-annotated dataset and benchmark tasks for text generation from pretrained language models [57.758735361535486]
  TGEAは、事前訓練された言語モデル(PLM)からテキストを生成するためのエラーアノテートデータセットである。 PLM生成文で発生する24種類の誤りを網羅する誤り分類を作成する。 PLM生成テキストに対する包括的なアノテーションを備えた最初のデータセットである。
  論文  参考訳（メタデータ） (2025-03-06T09:14:02Z)
• DISCERN: Decoding Systematic Errors in Natural Language for Text Classifiers [18.279429202248632]
  本稿では,テキスト分類器における系統的バイアスを言語説明を用いて解釈するフレームワークであるdisCERNを紹介する。 DISCERNは、2つの大きな言語モデル間の対話ループを用いて、体系的エラーの正確な自然言語記述を反復的に生成する。 本研究では, クラスタを例に挙げるよりも, 言語説明を通して, 系統的バイアスをより効果的に(25%以上相対的に) 効率的に解釈できることを示す。
  論文  参考訳（メタデータ） (2024-10-29T17:04:55Z)
• Neural Automated Writing Evaluation with Corrective Feedback [4.0230668961961085]
  本稿では,修正フィードバックを用いた自動筆記評価システムを提案する。 このシステムにより、言語学習者はエッセイの執筆テストをシミュレートできる。 また、無数のエッセイを手作業で修正することの負担を軽減する。
  論文  参考訳（メタデータ） (2024-02-27T15:42:33Z)
• Understanding and Mitigating Classification Errors Through Interpretable Token Patterns [58.91023283103762]
  容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。 正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。 提案手法であるPremiseが実際によく動作することを示す。
  論文  参考訳（メタデータ） (2023-11-18T00:24:26Z)
• You Can Generate It Again: Data-to-Text Generation with Verification and Correction Prompting [24.738004421537926]
  T5のような小さな言語モデルは、データからテキストへのタスクのための高品質なテキストを生成するのに優れている。 彼らはしばしばキーワードを見逃すが、これはこのタスクで最も重大で一般的なエラーの1つだと考えられている。 我々は,データ・テキスト生成タスクにおいて,より小さな言語モデルにおける意味的忠実度を高めるためにフィードバックシステムを利用することの可能性を探る。
  論文  参考訳（メタデータ） (2023-06-28T05:34:25Z)
• Understanding Factual Errors in Summarization: Errors, Summarizers, Datasets, Error Detectors [105.12462629663757]
  本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。 本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
  論文  参考訳（メタデータ） (2022-05-25T15:26:48Z)
• A Syntax-Guided Grammatical Error Correction Model with Dependency Tree Correction [83.14159143179269]
  文法的誤り訂正(英: Grammatical Error Correction, GEC)は、文中の文法的誤りを検出し、訂正するタスクである。 本稿では,依存木の構文知識を利用するためのグラフアテンション機構を採用した構文誘導型GECモデル(SG-GEC)を提案する。 我々は、GECタスクの公開ベンチマークでモデルを評価し、競争結果を得る。
  論文  参考訳（メタデータ） (2021-11-05T07:07:48Z)
• Curious Case of Language Generation Evaluation Metrics: A Cautionary Tale [52.663117551150954]
  イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。 これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。 本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
  論文  参考訳（メタデータ） (2020-10-26T13:57:20Z)
• On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
  我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。 結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
  論文  参考訳（メタデータ） (2020-05-12T11:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。