論文の概要: On the (In)Effectiveness of Large Language Models for Chinese Text Correction

• arxiv url: http://arxiv.org/abs/2307.09007v1
• Date: Tue, 18 Jul 2023 06:48:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-19 16:13:42.765518
• Title: On the (In)Effectiveness of Large Language Models for Chinese Text Correction
• Title（参考訳）: 中国語テキスト訂正における大言語モデルの効果について
• Authors: Yinghui Li, Haojing Huang, Shirong Ma, Yong Jiang, Yangning Li, Feng Zhou, Hai-Tao Zheng, Qingyu Zhou
• Abstract要約: 中国語文法誤り訂正(CGEC)タスクと中国語スペルチェック(CSC)タスクにおけるChatGPTの評価を行った。 われわれは、ChatGPTが現在、中国語テキスト訂正の素晴らしいパフォーマンスと不満足な動作の両方を持っていることを実証的に見出した。
• 参考スコア（独自算出の注目度）: 34.37228137711596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, the development and progress of Large Language Models (LLMs) have amazed the entire Artificial Intelligence community. As an outstanding representative of LLMs and the foundation model that set off this wave of research on LLMs, ChatGPT has attracted more and more researchers to study its capabilities and performance on various downstream Natural Language Processing (NLP) tasks. While marveling at ChatGPT's incredible performance on kinds of tasks, we notice that ChatGPT also has excellent multilingual processing capabilities, such as Chinese. To explore the Chinese processing ability of ChatGPT, we focus on Chinese Text Correction, a fundamental and challenging Chinese NLP task. Specifically, we evaluate ChatGPT on the Chinese Grammatical Error Correction (CGEC) and Chinese Spelling Check (CSC) tasks, which are two main Chinese Text Correction scenarios. From extensive analyses and comparisons with previous state-of-the-art fine-tuned models, we empirically find that the ChatGPT currently has both amazing performance and unsatisfactory behavior for Chinese Text Correction. We believe our findings will promote the landing and application of LLMs in the Chinese NLP community.
• Abstract（参考訳）: 近年,Large Language Models (LLMs) の開発と進歩が,人工知能コミュニティ全体に驚きを与えている。 LLMの卓越した代表者であり、LLMの研究の波となった基礎モデルとして、ChatGPTは、様々な下流自然言語処理(NLP)タスクでその能力と性能を研究するために、ますます多くの研究者を惹きつけてきた。 ChatGPTがタスクの種類で素晴らしいパフォーマンスを発揮しているのに対して、ChatGPTは中国語などの多言語処理にも優れています。 ChatGPTの中国語処理能力を探るため,中国における基本的かつ困難なNLP課題である中国語テキスト補正に焦点を当てた。 具体的には,中国語の文法的誤り訂正(CGEC)と中国語のスペルチェック(CSC)の2つのタスクにおいてChatGPTを評価する。 従来の微調整モデルとの比較や分析から、ChatGPTは現在、中国語のテキスト訂正に素晴らしい性能と不満足な動作を持っていることを実証的に見出した。 我々は,中国NLPコミュニティにおけるLSMの着地と適用を促進できると考えている。

関連論文リスト

• Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
  大きな言語モデル(LLM)は印象的な言語機能を示している。 本研究では,LLMの自然多言語アライメント改善について検討する。 質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:46:19Z)
• Are LLMs Effective Backbones for Fine-tuning? An Experimental Investigation of Supervised LLMs on Chinese Short Text Matching [12.213307496643376]
  中国語短文マッチング作業のための微調整LDMによる実験的検討を行った。 タスクモデリング手法,プロンプト形式,出力形式など,微調整LDMの性能に影響を及ぼす諸要因について検討する。
  論文  参考訳（メタデータ） (2024-03-29T02:36:54Z)
• Is Translation All You Need? A Study on Solving Multilingual Tasks with Large Language Models [79.46179534911019]
  大規模言語モデル (LLM) は多言語機能を示しているが、トレーニングコーパスの不均衡のため、主に英語中心である。 この作業は、NLPタスクから実際のユーザクエリまで、評価を拡張します。 深い言語理解を必要とする文化関連のタスクでは、ネイティブ言語のプロンプトがより有望になる傾向があります。
  論文  参考訳（メタデータ） (2024-03-15T12:47:39Z)
• CIF-Bench: A Chinese Instruction-Following Benchmark for Evaluating the Generalizability of Large Language Models [53.9835961434552]
  本研究では,中国語に対する大規模言語モデル(LLM)の一般化性を評価するために,中国語命令追跡ベンチマーク(CIF-Bench)を導入する。 CIF-Benchは150のタスクと15,000の入力出力ペアで構成され、複雑な推論と中国の文化的ニュアンスをテストするためにネイティブスピーカーによって開発された。 データ汚染を軽減するため、データセットの半分しか公開せず、残りは非公開であり、スコア分散を最小限に抑えるために多種多様な命令を導入する。
  論文  参考訳（メタデータ） (2024-02-20T16:02:12Z)
• Rethinking the Roles of Large Language Models in Chinese Grammatical Error Correction [62.409807640887834]
  中国語の文法的誤り訂正(CGEC)は、入力文中のすべての文法的誤りを修正することを目的としている。 CGECの修正器としてのLLMの性能は、課題の焦点が難しいため不満足なままである。 CGECタスクにおけるLCMの役割を再考し、CGECでよりよく活用し、探索できるようにした。
  論文  参考訳（メタデータ） (2024-02-18T01:40:34Z)
• Are Large Language Models Good Fact Checkers: A Preliminary Study [26.023148371263012]
  大規模言語モデル(LLM)は、その卓越した推論能力と広範な知識リポジトリによって、大きな注目を集めている。 本研究の目的は,特定のファクトチェックサブタスクに対処する上で,様々なLSMを包括的に評価することである。
  論文  参考訳（メタデータ） (2023-11-29T05:04:52Z)
• An Empirical Study of Instruction-tuning Large Language Models in Chinese [32.5288378307064]
  本論文は,中国語の指導指導用LDMについて,料理本として機能する詳細な実証的研究を行う。 具体的には, LLM ベース, パラメータ効率のよい手法, 命令データ型の影響を系統的に検討する。 また、連鎖データや人間価値アライメントなど、他の要因の影響を調べる実験も行います。
  論文  参考訳（メタデータ） (2023-10-11T09:18:09Z)
• CMMLU: Measuring massive multitask language understanding in Chinese [133.70911295934746]
  本稿では, 自然科学, 社会科学, 工学, 人文科学など, さまざまな分野をカバーする総合的な中国のベンチマークを紹介する。 CMMLUは、中国語の文脈における大きな言語モデルの知識と推論能力の評価におけるギャップを埋める。
  論文  参考訳（メタデータ） (2023-06-15T15:49:51Z)
• Don't Trust ChatGPT when Your Question is not in English: A Study of Multilingual Abilities and Types of LLMs [16.770697902481107]
  大規模言語モデル(LLM)は、例外的な自然言語理解能力を示している。 本論文では,多言語環境下でのLLMの性能格差を体系的に評価する方法を提案する。 その結果,GPTは多言語設定において高い翻訳的振る舞いを示すことがわかった。
  論文  参考訳（メタデータ） (2023-05-24T02:05:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。