論文の概要: GPT-3.5 for Grammatical Error Correction

• arxiv url: http://arxiv.org/abs/2405.08469v1
• Date: Tue, 14 May 2024 09:51:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 14:28:33.799568
• Title: GPT-3.5 for Grammatical Error Correction
• Title（参考訳）: 文法的誤り訂正のためのGPT-3.5
• Authors: Anisia Katinskaia, Roman Yangarber,
• Abstract要約: 本稿では,複数の言語における文法的誤り訂正(GEC)に対する GPT-3.5 の適用について検討する。 我々は,いくつかの手法を用いて,GPT-3.5により提案される補正を自動評価する。 英語では、GPT-3.5は高いリコールを示し、流動的な修正を生成し、文のセマンティクスを一般的に保存する。 しかし、英語とロシア語の双方に対する人間の評価は、その強い誤り検出能力にもかかわらず、GPT-3.5はいくつかのエラータイプに悩まされていることを明らかにしている。
• 参考スコア（独自算出の注目度）: 0.4757470449749875
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper investigates the application of GPT-3.5 for Grammatical Error Correction (GEC) in multiple languages in several settings: zero-shot GEC, fine-tuning for GEC, and using GPT-3.5 to re-rank correction hypotheses generated by other GEC models. In the zero-shot setting, we conduct automatic evaluations of the corrections proposed by GPT-3.5 using several methods: estimating grammaticality with language models (LMs), the Scribendi test, and comparing the semantic embeddings of sentences. GPT-3.5 has a known tendency to over-correct erroneous sentences and propose alternative corrections. For several languages, such as Czech, German, Russian, Spanish, and Ukrainian, GPT-3.5 substantially alters the source sentences, including their semantics, which presents significant challenges for evaluation with reference-based metrics. For English, GPT-3.5 demonstrates high recall, generates fluent corrections, and generally preserves sentence semantics. However, human evaluation for both English and Russian reveals that, despite its strong error-detection capabilities, GPT-3.5 struggles with several error types, including punctuation mistakes, tense errors, syntactic dependencies between words, and lexical compatibility at the sentence level.
• Abstract（参考訳）: 本稿では,文法的誤り訂正(GEC)に対する GPT-3.5 の適用について,ゼロショット GEC や GEC の微調整,および GPT-3.5 を用いて,他の GEC モデルが生成した補正仮説の再検討を行う。 ゼロショット設定では、言語モデル(LM)による文法性の推定、スクリベンディテスト、文の意味的な埋め込みの比較など、GPT-3.5が提案した補正を自動的に評価する。 GPT-3.5は誤り文を過度に訂正する傾向が知られており、代替の修正を提案する。 チェコ語、ドイツ語、ロシア語、スペイン語、ウクライナ語などいくつかの言語では、GPT-3.5は、その意味論を含む原文を実質的に変更し、基準ベースのメトリクスによる評価において大きな課題を呈している。 英語では、GPT-3.5は高いリコールを示し、流動的な修正を生成し、文のセマンティクスを一般的に保存する。 しかしながら、英語とロシア語の双方に対する人間の評価は、強い誤り検出能力にもかかわらず、GPT-3.5は句読点誤り、緊張エラー、単語間の構文的依存関係、文レベルでの語彙的互換性など、いくつかのエラータイプに苦戦していることを示している。

関連論文リスト

• Revisiting Meta-evaluation for Grammatical Error Correction [14.822205658480813]
  SEEDAはGECメタ評価のための新しいデータセットである。 人間の評価を2つの異なる粒度で補正する。 その結果,既存の研究では編集基準が過小評価されていた可能性が示唆された。
  論文  参考訳（メタデータ） (2024-03-05T05:53:09Z)
• An Analysis of Language Frequency and Error Correction for Esperanto [0.0]
  Eo-GPデータセットを用いて包括的周波数解析を行う。 次に,実例から得られたEo-GECデータセットを紹介する。 GPT-3.5 と GPT-4 を用いて,GPT-4 は自動評価と人的評価の両方において GPT-3.5 よりも優れていた。
  論文  参考訳（メタデータ） (2024-02-15T04:10:25Z)
• Enhancing conversational quality in language learning chatbots: An evaluation of GPT4 for ASR error correction [20.465220855548292]
  本稿では,会話環境における ASR 誤り訂正における GPT4 の利用について検討する。 We found that corrected by GPT4 has to higher conversation quality, while a increase of WER。
  論文  参考訳（メタデータ） (2023-07-19T04:25:21Z)
• Is ChatGPT a Highly Fluent Grammatical Error Correction System? A Comprehensive Evaluation [41.94480044074273]
  ChatGPTはGPT-3.5アーキテクチャに基づく大規模言語モデルである。 本稿では,ChatGPTのテキスト内学習を用いて,ゼロショットチェーン・オブ・シント(CoT)と少数ショットCoT設定を設計する。 本評価では,ChatGPTを3つの言語で5つの公式テストセット,および英語で3つの文書レベルGCCテストセットで評価する。
  論文  参考訳（メタデータ） (2023-04-04T12:33:40Z)
• Analyzing the Performance of GPT-3.5 and GPT-4 in Grammatical Error Correction [28.58384091374763]
  GPT-3とGPT-4モデルは強力で、様々な自然言語処理タスクで高い性能を発揮する。 GPT-3.5 モデル (text-davinci-003) と GPT-4 モデル (gpt-4-0314) の機能を GEC ベンチマークで検証した。 BEA-2019およびJFLEGデータセットにおける最良プロンプトの性能について報告する。
  論文  参考訳（メタデータ） (2023-03-25T03:08:49Z)
• CLSE: Corpus of Linguistically Significant Entities [58.29901964387952]
  専門家が注釈を付けた言語学的に重要なエンティティ(CLSE)のコーパスをリリースする。 CLSEは74種類のセマンティックタイプをカバーし、航空券売機からビデオゲームまで様々なアプリケーションをサポートする。 言語的に代表されるNLG評価ベンチマークを,フランス語,マラティー語,ロシア語の3言語で作成する。
  論文  参考訳（メタデータ） (2022-11-04T12:56:12Z)
• Czech Grammar Error Correction with a Large and Diverse Corpus [64.94696028072698]
  文法的誤り訂正(GEC)のための注釈付きチェコ語コーパスを大規模かつ多種多様に導入する。 Grammar Error Correction Corpus for Czech (GECCC)は、非ネイティブ話者によって書かれた高いエラー密度エッセイからウェブサイトテキストまで、さまざまな4つのドメインを提供している。 我々は、トランスフォーマーをベースとしたいくつかのチェコのGECシステムを比較し、将来の研究に強力なベースラインを設定している。
  論文  参考訳（メタデータ） (2022-01-14T18:20:47Z)
• A Syntax-Guided Grammatical Error Correction Model with Dependency Tree Correction [83.14159143179269]
  文法的誤り訂正(英: Grammatical Error Correction, GEC)は、文中の文法的誤りを検出し、訂正するタスクである。 本稿では,依存木の構文知識を利用するためのグラフアテンション機構を採用した構文誘導型GECモデル(SG-GEC)を提案する。 我々は、GECタスクの公開ベンチマークでモデルを評価し、競争結果を得る。
  論文  参考訳（メタデータ） (2021-11-05T07:07:48Z)
• LM-Critic: Language Models for Unsupervised Grammatical Error Correction [128.9174409251852]
  文を文法的に判断する LM-Critic の定義において,事前訓練された言語モデル (LM) の活用法を示す。 このLM-Critic と BIFI と、ラベルなし文の集合を併用して、現実的な非文法的/文法的ペアをブートストラップし、修正子を訓練する。
  論文  参考訳（メタデータ） (2021-09-14T17:06:43Z)
• Neural Quality Estimation with Multiple Hypotheses for Grammatical Error Correction [98.31440090585376]
  文法的誤り訂正(GEC)は、誤りの訂正と言語学習者の書き方の改善を支援することを目的としている。 既存のGECモデルは、激しい修正や多くのエラーの検出に失敗する傾向があります。 本稿では,複数の仮説を用いたGEC品質評価のためのニューラル検証ネットワーク(VERNet)を提案する。
  論文  参考訳（メタデータ） (2021-05-10T15:04:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。