論文の概要: GrammarGPT: Exploring Open-Source LLMs for Native Chinese Grammatical Error Correction with Supervised Fine-Tuning

• arxiv url: http://arxiv.org/abs/2307.13923v2
• Date: Thu, 17 Aug 2023 19:58:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 22:33:59.463562
• Title: GrammarGPT: Exploring Open-Source LLMs for Native Chinese Grammatical Error Correction with Supervised Fine-Tuning
• Title（参考訳）: GrammarGPT: 改良されたファインチューニングによる中国語文法誤り訂正のためのオープンソースのLLM探索
• Authors: Yaxin Fan, Feng Jiang, Peifeng Li, and Haizhou Li
• Abstract要約: オープンソースのLarge Language ModelであるGrammarGPTを導入し、中国語の文法的誤り訂正の可能性を探る。 手がかり付き文法的誤りに対しては,ChatGPTを案内して非文法的文を生成する手法を提案する。 手がかりのない文法的誤りに対しては,公開ウェブサイトから非文法的文章を収集し,手作業で修正した。
• 参考スコア（独自算出の注目度）: 46.75740002185691
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Grammatical error correction aims to correct ungrammatical sentences automatically. Recently, some work has demonstrated the excellent capabilities of closed-source Large Language Models (LLMs, e.g., ChatGPT) in grammatical error correction. However, the potential of open-source LLMs remains unexplored. In this paper, we introduced GrammarGPT, an open-source LLM, to preliminary explore its potential for native Chinese grammatical error correction. The core recipe of GrammarGPT is to leverage the hybrid dataset of ChatGPT-generated and human-annotated. For grammatical errors with clues, we proposed a heuristic method to guide ChatGPT to generate ungrammatical sentences by providing those clues. For grammatical errors without clues, we collected ungrammatical sentences from publicly available websites and manually corrected them. In addition, we employed an error-invariant augmentation method to enhance the ability of the model to correct native Chinese grammatical errors. We ultimately constructed about 1k parallel data and utilized these data to fine-tune open-source LLMs (e.g., Phoenix, released by The Chinese University of Hong Kong, Shenzhen) with instruction tuning. The experimental results show that GrammarGPT outperforms the existing SOTA system significantly. Although model parameters are 20x larger than the SOTA baseline, the required amount of data for instruction tuning is 1200x smaller, illustrating the potential of open-source LLMs on native CGEC. Our GrammarGPT ranks $3^{rd}$ on NLPCC2023 SharedTask1, demonstrating our approach's effectiveness. The code and data are available at \url{https://github.com/FreedomIntelligence/GrammarGPT}.
• Abstract（参考訳）: 文法的誤り訂正は、非文法的文章を自動的に修正することを目的としている。 近年、文法的誤り訂正において、クローズドソースの大規模言語モデル(llm、例えばchatgpt)の優れた能力が実証されている。 しかし、オープンソース LLM の可能性はまだ明らかにされていない。 本稿では,オープンソースのLLMであるGrammarGPTを導入し,中国語の文法的誤り訂正の可能性について検討した。 GrammarGPTの核となるレシピは、ChatGPT生成と人間アノテーションのハイブリッドデータセットを活用することである。 手がかり付き文法的誤りに対しては,ChatGPTを誘導して非文法的文を生成するヒューリスティック手法を提案する。 手がかりのない文法的誤りに対しては,公開ウェブサイトから非文法的文章を収集し,手作業で修正した。 さらに,中国語の文法的誤りを訂正するモデルの能力を高めるために,誤り不変拡張法を採用した。 最終的に約1kの並列データを構築し,これらのデータを用いて,香港大学深セン校がリリースしたPhoenixなどのオープンソースのLCMを微調整した。 実験の結果,GrammarGPTは既存のSOTAシステムよりも優れていた。 モデルパラメータはSOTAベースラインより20倍大きいが、命令チューニングに必要なデータ量は1200倍小さく、ネイティブCGEC上でのオープンソースLCMの可能性を示している。 我々のGrammarGPTは、NLPCC2023 SharedTask1に$3^{rd}をランク付けし、我々のアプローチの有効性を示している。 コードとデータは \url{https://github.com/freedomintelligence/grammargpt} で入手できる。

関連論文リスト

• Can LLMs Really Learn to Translate a Low-Resource Language from One Grammar Book? [6.905647501099997]
  極低リソース(XLR)言語は、NLPモデルをトレーニングするためのかなりのコーパスを欠いている。 One Book からの機械翻訳では、長文 LLM を1つの文法書で促すことで、英語とカラマン語を翻訳できる。 本書の文法的説明や平行な例がXLR翻訳の学習に最も有効かどうかを検討する。
  論文  参考訳（メタデータ） (2024-09-27T21:27:32Z)
• How Ready Are Generative Pre-trained Large Language Models for Explaining Bengali Grammatical Errors? [0.4857223913212445]
  高度な生成人工知能(AI)を利用した文法的誤り訂正(GEC)ツール。 しかし、それらはしばしば、本質的な自然言語の説明の提供に不足する。 このような言語では、文法的誤り説明(GEE)システムは正しい文だけでなく、誤りの説明も提供すべきである。
  論文  参考訳（メタデータ） (2024-05-27T15:56:45Z)
• Prompting open-source and commercial language models for grammatical error correction of English learner text [19.192210777082053]
  大規模言語モデル(LLM)は、流動的で文法的なテキストを生成するよう促すことができる。 確立したベンチマークデータセット上で, 文法的誤り訂正(GEC)におけるLLMの性能評価を行った。 いくつかのオープンソースモデルは、最小限の編集ベンチマークで商用モデルよりも優れており、いくつかの設定ではゼロショットプロンプトは、少数ショットプロンプトと同じくらい競争力がある。
  論文  参考訳（メタデータ） (2024-01-15T14:19:47Z)
• Native Language Identification with Large Language Models [60.80452362519818]
  我々はGPTモデルがNLI分類に熟練していることを示し、GPT-4は0ショット設定でベンチマーク11テストセットで91.7%の新たなパフォーマンス記録を樹立した。 また、従来の完全教師付き設定とは異なり、LLMは既知のクラスに制限されずにNLIを実行できることを示す。
  論文  参考訳（メタデータ） (2023-12-13T00:52:15Z)
• GEE! Grammar Error Explanation with Large Language Models [64.16199533560017]
  本稿では,文法的誤りを1対の誤り文と訂正文に1文で説明する必要がある文法的誤り説明の課題を提案する。 文法的誤り説明における GPT-4 の能力を解析し, ワンショットプロンプトを用いた60.2% の誤り説明しか生成しないことを確認した。 我々は、構造化されたアトミックトークンの編集を行うために、微調整された大規模言語モデルを活用する2段階のパイプラインを開発した。
  論文  参考訳（メタデータ） (2023-11-16T02:45:47Z)
• TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
  本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。 我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。 本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-07-10T08:15:40Z)
• A Syntax-Guided Grammatical Error Correction Model with Dependency Tree Correction [83.14159143179269]
  文法的誤り訂正(英: Grammatical Error Correction, GEC)は、文中の文法的誤りを検出し、訂正するタスクである。 本稿では,依存木の構文知識を利用するためのグラフアテンション機構を採用した構文誘導型GECモデル(SG-GEC)を提案する。 我々は、GECタスクの公開ベンチマークでモデルを評価し、競争結果を得る。
  論文  参考訳（メタデータ） (2021-11-05T07:07:48Z)
• LM-Critic: Language Models for Unsupervised Grammatical Error Correction [128.9174409251852]
  文を文法的に判断する LM-Critic の定義において,事前訓練された言語モデル (LM) の活用法を示す。 このLM-Critic と BIFI と、ラベルなし文の集合を併用して、現実的な非文法的/文法的ペアをブートストラップし、修正子を訓練する。
  論文  参考訳（メタデータ） (2021-09-14T17:06:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。