論文の概要: GEE! Grammar Error Explanation with Large Language Models
- arxiv url: http://arxiv.org/abs/2311.09517v1
- Date: Thu, 16 Nov 2023 02:45:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 16:50:16.829082
- Title: GEE! Grammar Error Explanation with Large Language Models
- Title（参考訳）: くそっ!
大規模言語モデルを用いた文法誤り表現
- Authors: Yixiao Song, Kalpesh Krishna, Rajesh Bhatt, Kevin Gimpel, Mohit Iyyer
- Abstract要約: 本稿では,文法的誤りを1対の誤り文と訂正文に1文で説明する必要がある文法的誤り説明の課題を提案する。
文法的誤り説明における GPT-4 の能力を解析し, ワンショットプロンプトを用いた60.2% の誤り説明しか生成しないことを確認した。
我々は、構造化されたアトミックトークンの編集を行うために、微調整された大規模言語モデルを活用する2段階のパイプラインを開発した。
- 参考スコア（独自算出の注目度）: 64.16199533560017
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Grammatical error correction tools are effective at correcting grammatical
errors in users' input sentences but do not provide users with \textit{natural
language} explanations about their errors. Such explanations are essential for
helping users learn the language by gaining a deeper understanding of its
grammatical rules (DeKeyser, 2003; Ellis et al., 2006). To address this gap, we
propose the task of grammar error explanation, where a system needs to provide
one-sentence explanations for each grammatical error in a pair of erroneous and
corrected sentences. We analyze the capability of GPT-4 in grammar error
explanation, and find that it only produces explanations for 60.2% of the
errors using one-shot prompting. To improve upon this performance, we develop a
two-step pipeline that leverages fine-tuned and prompted large language models
to perform structured atomic token edit extraction, followed by prompting GPT-4
to generate explanations. We evaluate our pipeline on German and Chinese
grammar error correction data sampled from language learners with a wide range
of proficiency levels. Human evaluation reveals that our pipeline produces
93.9% and 98.0% correct explanations for German and Chinese data, respectively.
To encourage further research in this area, we will open-source our data and
code.
- Abstract（参考訳）: 文法的誤り訂正ツールは、ユーザの入力文の文法的誤りを修正するのに有効であるが、エラーに関する説明をユーザに提供しない。
このような説明は、文法規則をより深く理解することで、ユーザーが言語を学ぶのを助けるのに不可欠である(dekeyser, 2003; ellis et al., 2006)。
そこで,本研究では,誤用文と訂正文のペアにおいて,各文法的誤りに対して一元的説明を与える必要がある文法誤り説明のタスクを提案する。
文法的誤り説明における GPT-4 の能力を解析し, ワンショットプロンプトを用いた60.2% の誤り説明しか生成しないことを確認した。
この性能を向上させるために,大規模言語モデルを用いて構造化されたアトミックトークンの編集抽出を行い,さらにgpt-4で説明文を生成する2段階パイプラインを開発した。
言語学習者から採取したドイツ語と中国語の文法誤り訂正データについて,幅広い習熟度で評価した。
人間による評価では、パイプラインはドイツと中国のデータに対してそれぞれ93.9%と98.0%の正確な説明が得られた。
この分野でさらなる研究を促進するため、私たちはデータとコードをオープンソース化します。
関連論文リスト
- How Ready Are Generative Pre-trained Large Language Models for Explaining Bengali Grammatical Errors? [0.4857223913212445]
高度な生成人工知能(AI)を利用した文法的誤り訂正(GEC)ツール。
しかし、それらはしばしば、本質的な自然言語の説明の提供に不足する。
このような言語では、文法的誤り説明(GEE)システムは正しい文だけでなく、誤りの説明も提供すべきである。
論文 参考訳（メタデータ） (2024-05-27T15:56:45Z) - GrammarGPT: Exploring Open-Source LLMs for Native Chinese Grammatical
Error Correction with Supervised Fine-Tuning [46.75740002185691]
オープンソースのLarge Language ModelであるGrammarGPTを導入し、中国語の文法的誤り訂正の可能性を探る。
手がかり付き文法的誤りに対しては,ChatGPTを案内して非文法的文を生成する手法を提案する。
手がかりのない文法的誤りに対しては,公開ウェブサイトから非文法的文章を収集し,手作業で修正した。
論文 参考訳（メタデータ） (2023-07-26T02:45:38Z) - Enhancing Grammatical Error Correction Systems with Explanations [45.69642286275681]
文法的誤り訂正システムは、言語誤りを検出し、修正することで、文字によるコミュニケーションを改善する。
本稿では,エビデンスワードと文法的誤り型を付加したデータセットEXPECTを紹介する。
人間の評価により,GECシステムの説明は,訂正提案を受理するか否かを判断する第2言語学習者を支援することができる。
論文 参考訳（メタデータ） (2023-05-25T03:00:49Z) - A Syntax-Guided Grammatical Error Correction Model with Dependency Tree
Correction [83.14159143179269]
文法的誤り訂正(英: Grammatical Error Correction, GEC)は、文中の文法的誤りを検出し、訂正するタスクである。
本稿では,依存木の構文知識を利用するためのグラフアテンション機構を採用した構文誘導型GECモデル(SG-GEC)を提案する。
我々は、GECタスクの公開ベンチマークでモデルを評価し、競争結果を得る。
論文 参考訳（メタデータ） (2021-11-05T07:07:48Z) - Exploring the Capacity of a Large-scale Masked Language Model to
Recognize Grammatical Errors [3.55517579369797]
トレーニングデータの5～10%は、BERTに基づく誤り検出法で、非言語モデルに基づく手法と同等の性能を実現するのに十分であることを示す。
また、擬似誤差データを用いて、様々な種類の誤りを認識するための学習ルールにおいて、実際にそのような優れた特性を示すことを示す。
論文 参考訳（メタデータ） (2021-08-27T10:37:14Z) - Improving the Efficiency of Grammatical Error Correction with Erroneous
Span Detection and Correction [106.63733511672721]
ESD(Eroneous Span Detection)とESC(Eroneous Span Correction)の2つのサブタスクに分割することで、文法的誤り訂正(GEC)の効率を改善するための言語に依存しない新しいアプローチを提案する。
ESDは、効率的なシーケンスタグ付けモデルを用いて文法的に誤りテキストスパンを識別する。ESCは、Seq2seqモデルを利用して、注釈付き誤字スパンの文を入力として取り、これらのスパンの修正テキストのみを出力する。
実験の結果,提案手法は英語と中国語のGECベンチマークにおいて従来のセク2seq手法と同等に動作し,推論に要するコストは50%以下であった。
論文 参考訳（メタデータ） (2020-10-07T08:29:11Z) - On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。
結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
論文 参考訳（メタデータ） (2020-05-12T11:01:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。