Fugu-MT 論文翻訳(概要): Evaluating the Capability of Large-scale Language Models on Chinese Grammatical Error Correction Task

論文の概要: Evaluating the Capability of Large-scale Language Models on Chinese Grammatical Error Correction Task

arxiv url: http://arxiv.org/abs/2307.03972v1
Date: Sat, 8 Jul 2023 13:10:59 GMT
ステータス: 処理完了
システム内更新日: 2023-07-11 16:19:10.500817
Title: Evaluating the Capability of Large-scale Language Models on Chinese Grammatical Error Correction Task
Title（参考訳）: 中国語文法誤り訂正課題における大規模言語モデルの能力評価
Authors: Fanyi Qu and Yunfang Wu
Abstract要約: 大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて顕著な能力を示している。本報告では,中国語の文法的誤り訂正タスクにおける大規模言語モデルの性能について検討する。
参考スコア（独自算出の注目度）: 10.597024796304016
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large-scale language models (LLMs) has shown remarkable capability in various of Natural Language Processing (NLP) tasks and attracted lots of attention recently. However, some studies indicated that large language models fail to achieve promising result beyond the state-of-the-art models in English grammatical error correction (GEC) tasks. In this report, we aim to explore the how large language models perform on Chinese grammatical error correction tasks and provide guidance for future work. We conduct experiments with 3 different LLMs of different model scale on 4 Chinese GEC dataset. Our experimental results indicate that the performances of LLMs on automatic evaluation metrics falls short of the previous sota models because of the problem of over-correction. Furthermore, we also discover notable variations in the performance of LLMs when evaluated on different data distributions. Our findings demonstrates that further investigation is required for the application of LLMs on Chinese GEC task.
Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて顕著な能力を示し、近年多くの注目を集めている。しかし、いくつかの研究では、英語文法誤り訂正(GEC)タスクにおける最先端モデル以上の有望な結果が得られないことが示されている。本稿では,中国語の文法的誤り訂正タスクにおける大規模言語モデルの性能について検討し,今後の研究の指針を提供する。 4つの中国GECデータセット上で3つの異なるモデルスケールのLLMを用いて実験を行った。実験結果から,自動評価指標におけるllmの性能は,過剰補正の問題から以前のsomaモデルに及ばないことが示された。また,異なるデータ分布で評価した場合,llmの性能に有意な変動が認められた。以上の結果から,中国GEC課題へのLCMの適用にはさらなる調査が必要であることが示唆された。

関連論文リスト

The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
本稿では,大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメント手法を提案する。実験結果から,質問アライメント手法は多様な推論シナリオにおける多言語のパフォーマンス向上に有効であることが示唆された。その成功のメカニズムを理解するために、表現空間、チェーン・オブ・シンク、翻訳データスケールを分析する。
論文参考訳（メタデータ） (2024-05-02T14:49:50Z)
Harnessing Large Language Models as Post-hoc Correctors [6.288056740658763]
任意の機械学習モデルの予測に対する修正を提案するために,LLMがポストホックな修正器として機能することを示す。我々は、データセットのラベル情報と、検証データセット上のMLモデルの予測を組み込むことで、文脈知識データベースを構築する。テキスト解析と分子予測に関する実験結果から, モデルの性能が最大39%向上することが示唆された。
論文参考訳（メタデータ） (2024-02-20T22:50:41Z)
Rethinking the Roles of Large Language Models in Chinese Grammatical Error Correction [62.409807640887834]
中国語の文法的誤り訂正(CGEC)は、入力文中のすべての文法的誤りを修正することを目的としている。 CGECの修正器としてのLLMの性能は、課題の焦点が難しいため不満足なままである。 CGECタスクにおけるLCMの役割を再考し、CGECでよりよく活用し、探索できるようにした。
論文参考訳（メタデータ） (2024-02-18T01:40:34Z)
Lost in the Source Language: How Large Language Models Evaluate the Quality of Machine Translation [64.5862977630713]
本研究では,機械翻訳評価タスクにおいて,Large Language Models (LLM) がソースデータと参照データをどのように活用するかを検討する。参照情報が評価精度を大幅に向上させるのに対して,意外なことに,ソース情報は時として非生産的である。
論文参考訳（メタデータ） (2024-01-12T13:23:21Z)
Adapting Large Language Models for Document-Level Machine Translation [46.370862171452444]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを大幅に進歩させた。近年の研究では、中程度のLLMはタスク固有の微調整後、より大きなLLMよりも優れていることが示されている。本研究では,特定の言語対に対する文書レベルの機械翻訳(DocMT)にLLMを適用することに焦点を当てた。
論文参考訳（メタデータ） (2024-01-12T09:29:13Z)
Are Large Language Models Good Fact Checkers: A Preliminary Study [26.023148371263012]
大規模言語モデル(LLM)は、その卓越した推論能力と広範な知識リポジトリによって、大きな注目を集めている。本研究の目的は,特定のファクトチェックサブタスクに対処する上で,様々なLSMを包括的に評価することである。
論文参考訳（メタデータ） (2023-11-29T05:04:52Z)
BLESS: Benchmarking Large Language Models on Sentence Simplification [55.461555829492866]
我々は、テキスト単純化(TS)タスク上で、最新の最先端の大規模言語モデル(LLM)のパフォーマンスベンチマークであるBLESSを紹介する。異なるドメイン(Wikipedia、ニュース、医療)の3つのテストセットに対して、サイズ、アーキテクチャ、事前学習方法、アクセシビリティの異なる44のモデルを評価する。評価の結果,最高のLSMはTSのトレーニングを受けていないにもかかわらず,最先端のTSベースラインと相容れない性能を示した。
論文参考訳（メタデータ） (2023-10-24T12:18:17Z)
The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。テキスト内学習と微調整によるラベル付きデータの影響について検討する。次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文参考訳（メタデータ） (2023-08-14T17:17:21Z)
Revisiting Distance Metric Learning for Few-Shot Natural Language Classification [1.0323063834827415]
数ショットの学習設定では、特にプロキシベースのDML損失は、教師付き言語モデルの微調整と推論に肯定的な影響を及ぼす可能性がある。 CCEとProxyAnchor Lossの組み合わせで調整されたモデルは、平均すると、CCEのみが3.27ポイントの最高のパフォーマンスとパフォーマンスのモデルである。
論文参考訳（メタデータ） (2022-11-28T10:19:31Z)
On the Calibration of Massively Multilingual Language Models [15.373725507698591]
超多言語言語モデル(MMLM)は、最近、言語間移動における驚くべき効果により人気を博している。まず,ゼロショット設定におけるMMLMの校正について検討し,低リソース言語における誤校正の明確な事例を観察する。また、言語の少数例はキャリブレーションエラーを減らすのに役立ちます。
論文参考訳（メタデータ） (2022-10-21T21:41:56Z)
Examining Scaling and Transfer of Language Model Architectures for Machine Translation [51.69212730675345]
言語モデル(LM)は単一のレイヤのスタックで処理し、エンコーダ・デコーダモデル(EncDec)は入力と出力の処理に別々のレイヤスタックを使用する。機械翻訳において、EncDecは長年好まれてきたアプローチであるが、LMの性能についての研究はほとんどない。
論文参考訳（メタデータ） (2022-02-01T16:20:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。