論文の概要: CSCD-NS: a Chinese Spelling Check Dataset for Native Speakers

• arxiv url: http://arxiv.org/abs/2211.08788v3
• Date: Thu, 23 May 2024 04:41:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-26 21:51:50.622810
• Title: CSCD-NS: a Chinese Spelling Check Dataset for Native Speakers
• Title（参考訳）: CSCD-NS:中国のネイティブスピーカー向けチェックデータセット
• Authors: Yong Hu, Fandong Meng, Jie Zhou,
• Abstract要約: CSCD-NSは中国初のネイティブ話者向けスペルチェックデータセットである。 CSCD-NSはスケールが10倍大きく、誤差分布が異なる。 本稿では,入力過程をシミュレーションする新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 62.61866477815883
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we present CSCD-NS, the first Chinese spelling check (CSC) dataset designed for native speakers, containing 40,000 samples from a Chinese social platform. Compared with existing CSC datasets aimed at Chinese learners, CSCD-NS is ten times larger in scale and exhibits a distinct error distribution, with a significantly higher proportion of word-level errors. To further enhance the data resource, we propose a novel method that simulates the input process through an input method, generating large-scale and high-quality pseudo data that closely resembles the actual error distribution and outperforms existing methods. Moreover, we investigate the performance of various models in this scenario, including large language models (LLMs), such as ChatGPT. The result indicates that generative models underperform BERT-like classification models due to strict length and pronunciation constraints. The high prevalence of word-level errors also makes CSC for native speakers challenging enough, leaving substantial room for improvement.
• Abstract（参考訳）: 本稿では,中国語話者を対象とした最初の中国語スペルチェック(CSC)データセットであるCSCD-NSについて紹介する。 中国の学習者を対象とした既存のCSCデータセットと比較して、CSCD-NSはスケールが10倍大きく、単語レベルのエラーの割合が著しく高い、明確なエラー分布を示す。 データ資源をさらに強化するため,入力手法を用いて入力プロセスをシミュレートし,実際の誤差分布と密接な類似した大規模で高品質な擬似データを生成し,既存手法より優れた性能を示す新しい手法を提案する。 さらに,ChatGPT などの大規模言語モデル (LLM) など,このシナリオにおける各種モデルの性能について検討する。 その結果、生成モデルは、厳密な長さと発音制約によりBERTのような分類モデルに劣ることが示された。 単語レベルのエラーの頻度が高いため、ネイティブスピーカーのCSCも十分に困難であり、改善の余地は残されている。

関連論文リスト

• EdaCSC: Two Easy Data Augmentation Methods for Chinese Spelling Correction [0.0]
  Chinese Spelling Correction (CSC) は、音韻的・視覚的類似性に起因する中国語文の綴り誤りを検出し、訂正することを目的としている。 これらの制約に対処する2つのデータ拡張手法を提案する。 まず,長文を短い文に分割するか,複数文字の文の型を減らしてデータセットを増強する。
  論文  参考訳（メタデータ） (2024-09-08T14:29:10Z)
• C-LLM: Learn to Check Chinese Spelling Errors Character by Character [61.53865964535705]
  本稿では,C-LLMを提案する。C-LLMは,文字による誤り文字のチェックを学習する中国語のスペルチェック手法である。 C-LLMは既存の方法よりも平均10%改善する。
  論文  参考訳（メタデータ） (2024-06-24T11:16:31Z)
• Contextual Spelling Correction with Language Model for Low-resource Setting [0.0]
  文脈理解を伴うSCモデルを提供するために、小規模な単語ベースの変換器LMを訓練する。 コーパスからエラー発生確率(エラーモデル)を抽出する。 LMとエラーモデルを組み合わせることで、よく知られたノイズチャネルフレームワークを通じてSCモデルを開発することができる。
  論文  参考訳（メタデータ） (2024-04-28T05:29:35Z)
• Make BERT-based Chinese Spelling Check Model Enhanced by Layerwise Attention and Gaussian Mixture Model [33.446533426654995]
  我々は、BERTベースのCSCモデルを強化するために、異種知識注入フレームワークを設計する。 複数層表現を生成するために,n-gram-based layerwise self-attention の新たな形式を提案する。 実験の結果,提案手法は4つの強力なベースラインモデルに対して安定な性能向上をもたらすことがわかった。
  論文  参考訳（メタデータ） (2023-12-27T16:11:07Z)
• Rethinking Masked Language Modeling for Chinese Spelling Correction [70.85829000570203]
  言語モデルと誤りモデルという2つの異なるモデルによる共同決定として,中国語のスペル補正(CSC)について検討する。 細調整されたBERTは、言語モデルに不適合なままエラーモデルに過度に適合する傾向にあり、その結果、分布外エラーパターンへの一般化が不十分であることがわかった。 微調整中に入力シーケンスから20%の非エラートークンをランダムにマスキングする非常に単純な戦略は、エラーモデルを犠牲にすることなく、はるかに優れた言語モデルを学ぶのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-05-28T13:19:12Z)
• Error-Robust Retrieval for Chinese Spelling Check [43.56073620728942]
  Chinese Spelling Check (CSC)は、中国のコンテキストにおけるエラートークンの検出と修正を目的としている。 これまでの方法では、既存のデータセットを完全に活用できない場合がある。 そこで我々は,中国語スペルチェックのための誤り情報付きプラグ・アンド・プレイ検索手法を提案する。
  論文  参考訳（メタデータ） (2022-11-15T01:55:34Z)
• Improving Pre-trained Language Models with Syntactic Dependency Prediction Task for Chinese Semantic Error Recognition [52.55136323341319]
  既存の中国語のテキスト誤り検出は主にスペルと単純な文法的誤りに焦点を当てている。 中国の意味的誤りは、人間が容易に認識できないほど過小評価され、複雑である。
  論文  参考訳（メタデータ） (2022-04-15T13:55:32Z)
• Bridging the Gap Between Clean Data Training and Real-World Inference for Spoken Language Understanding [76.89426311082927]
  既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。 本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。 広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
  論文  参考訳（メタデータ） (2021-04-13T17:54:33Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。