Fugu-MT 論文翻訳(概要): Evaluating GPT-3.5 and GPT-4 on Grammatical Error Correction for Brazilian Portuguese

論文の概要: Evaluating GPT-3.5 and GPT-4 on Grammatical Error Correction for Brazilian Portuguese

arxiv url: http://arxiv.org/abs/2306.15788v2
Date: Tue, 18 Jul 2023 13:31:56 GMT
ステータス: 処理完了
システム内更新日: 2023-07-19 18:17:50.367208
Title: Evaluating GPT-3.5 and GPT-4 on Grammatical Error Correction for Brazilian Portuguese
Title（参考訳）: ブラジルポルトガル語の文法的誤り訂正におけるGPT-3.5とGPT-4の評価
Authors: Maria Carolina Penteado, F\'abio Perez
Abstract要約: ブラジルポルトガル語の文法誤り訂正(GEC)ツールとして, GPT-3.5 と GPT-4 の2つの大言語モデルの有効性を検討した。以上の結果より, GPT-4は他の方法よりも高いリコール率を示したが, LLMの精度は低くなり, 過補正が生じる傾向にあった。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We investigate the effectiveness of GPT-3.5 and GPT-4, two large language models, as Grammatical Error Correction (GEC) tools for Brazilian Portuguese and compare their performance against Microsoft Word and Google Docs. We introduce a GEC dataset for Brazilian Portuguese with four categories: Grammar, Spelling, Internet, and Fast typing. Our results show that while GPT-4 has higher recall than other methods, LLMs tend to have lower precision, leading to overcorrection. This study demonstrates the potential of LLMs as practical GEC tools for Brazilian Portuguese and encourages further exploration of LLMs for non-English languages and other educational settings.
Abstract（参考訳）: ブラジルポルトガル語の文法誤り訂正(GEC)ツールとして, GPT-3.5 と GPT-4 の有効性について検討し,Microsoft Word と Google Docs を比較した。ブラジルポルトガル語のGECデータセットには,文法,スペリング,インターネット,高速タイピングの4つのカテゴリがある。以上の結果より, GPT-4は他の方法よりも高いリコール率を示したが, LLMの精度は低くなり, 過補正が生じる傾向にあった。本研究は,ブラジルポルトガル語の実践的 GEC ツールとしての LLM の可能性を示し,英語以外の教育環境における LLM のさらなる探索を奨励するものである。

関連論文リスト

ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools [119.88272424284193]
本報告は, GLM-4, GLM-4-Air, GLM-4-9B を含む GLM-4 言語シリーズに主眼を置いている。 GLM-4モデルは、主に中国語と英語で10兆のトークンと、24言語からの小さなコーパスで事前訓練されている。高品質なアライメントは、教師付き微調整と人間のフィードバックからの学習を含む、多段階のポストトレーニングプロセスを通じて達成される。
論文参考訳（メタデータ） (2024-06-18T16:58:21Z)
An Analysis of Language Frequency and Error Correction for Esperanto [0.0]
Eo-GPデータセットを用いて包括的周波数解析を行う。次に,実例から得られたEo-GECデータセットを紹介する。 GPT-3.5 と GPT-4 を用いて,GPT-4 は自動評価と人的評価の両方において GPT-3.5 よりも優れていた。
論文参考訳（メタデータ） (2024-02-15T04:10:25Z)
Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
論文参考訳（メタデータ） (2023-12-26T18:38:54Z)
Native Language Identification with Large Language Models [60.80452362519818]
我々はGPTモデルがNLI分類に熟練していることを示し、GPT-4は0ショット設定でベンチマーク11テストセットで91.7%の新たなパフォーマンス記録を樹立した。また、従来の完全教師付き設定とは異なり、LLMは既知のクラスに制限されずにNLIを実行できることを示す。
論文参考訳（メタデータ） (2023-12-13T00:52:15Z)
Taqyim: Evaluating Arabic NLP Tasks Using ChatGPT Models [6.145834902689888]
大規模言語モデル(LLM)は、微調整を必要とせず、様々な下流タスクにおける印象的なパフォーマンスを示している。英語に比べて訓練率が低いにもかかわらず、これらのモデルは他の言語でも顕著な能力を示す。本研究では,7つの異なるNLPタスクにおいて,GPT-3.5およびGPT-4モデルの性能を評価する。
論文参考訳（メタデータ） (2023-06-28T15:54:29Z)
Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
論文参考訳（メタデータ） (2023-06-20T08:27:47Z)
LLM-powered Data Augmentation for Enhanced Cross-lingual Performance [24.20730298894794]
本稿では,Large Language Models (LLMs) を利用したコモンセンス推論データセットにおけるデータ拡張の可能性について検討する。これを実現するために、私たちは、XCOPA、XWinograd、XStoryClozeの3つのデータセットを増強するために、Dlly-v2、StableVicuna、ChatGPT、GPT-4といういくつかのLCMを利用する。合成データを用いて,小型多言語モデルmBERTとXLMRの有効性を評価する。
論文参考訳（メタデータ） (2023-05-23T17:33:27Z)
Gpt-4: A Review on Advancements and Opportunities in Natural Language Processing [0.0]
Generative Pre-trained Transformer 4 (GPT-4) は、OpenAIが開発したGPTシリーズの第4世代言語モデルである。 GPT-4は、GPT-3よりもモデルサイズが大きく(1兆ドル以上)、多言語能力、文脈理解の改善、推論能力が優れている。 GPT-4の潜在的な応用には、チャットボット、パーソナルアシスタント、言語翻訳、テキスト要約、質問応答などがある。
論文参考訳（メタデータ） (2023-05-04T22:46:43Z)
Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。本稿では, MMT における LLM の利点と課題を体系的に検討する。また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
論文参考訳（メタデータ） (2023-04-10T15:51:30Z)
Document-Level Machine Translation with Large Language Models [91.03359121149595]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。本稿では,LLMの談話モデルにおける能力について詳細に評価する。
論文参考訳（メタデータ） (2023-04-05T03:49:06Z)
Analyzing the Performance of GPT-3.5 and GPT-4 in Grammatical Error Correction [28.58384091374763]
GPT-3とGPT-4モデルは強力で、様々な自然言語処理タスクで高い性能を発揮する。 GPT-3.5 モデル (text-davinci-003) と GPT-4 モデル (gpt-4-0314) の機能を GEC ベンチマークで検証した。 BEA-2019およびJFLEGデータセットにおける最良プロンプトの性能について報告する。
論文参考訳（メタデータ） (2023-03-25T03:08:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。