論文の概要: Rethinking Masked Language Modeling for Chinese Spelling Correction

• arxiv url: http://arxiv.org/abs/2305.17721v1
• Date: Sun, 28 May 2023 13:19:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 17:07:33.251780
• Title: Rethinking Masked Language Modeling for Chinese Spelling Correction
• Title（参考訳）: 中国語スペル訂正のためのマスケッド言語モデリングの再考
• Authors: Hongqiu Wu and Shaohua Zhang and Yuchen Zhang and Hai Zhao
• Abstract要約: 言語モデルと誤りモデルという2つの異なるモデルによる共同決定として,中国語のスペル補正(CSC)について検討する。 細調整されたBERTは、言語モデルに不適合なままエラーモデルに過度に適合する傾向にあり、その結果、分布外エラーパターンへの一般化が不十分であることがわかった。 微調整中に入力シーケンスから20%の非エラートークンをランダムにマスキングする非常に単純な戦略は、エラーモデルを犠牲にすることなく、はるかに優れた言語モデルを学ぶのに十分であることを示す。
• 参考スコア（独自算出の注目度）: 70.85829000570203
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study Chinese Spelling Correction (CSC) as a joint decision made by two separate models: a language model and an error model. Through empirical analysis, we find that fine-tuning BERT tends to over-fit the error model while under-fit the language model, resulting in poor generalization to out-of-distribution error patterns. Given that BERT is the backbone of most CSC models, this phenomenon has a significant negative impact. To address this issue, we are releasing a multi-domain benchmark LEMON, with higher quality and diversity than existing benchmarks, to allow a comprehensive assessment of the open domain generalization of CSC models. Then, we demonstrate that a very simple strategy, randomly masking 20\% non-error tokens from the input sequence during fine-tuning is sufficient for learning a much better language model without sacrificing the error model. This technique can be applied to any model architecture and achieves new state-of-the-art results on SIGHAN, ECSpell, and LEMON.
• Abstract（参考訳）: 本稿では,中国語のスペル補正(CSC)を,言語モデルと誤りモデルという2つの異なるモデルによる共同決定として検討する。 経験的分析により、細調整されたBERTは言語モデルに不適合なままエラーモデルに過度に適合する傾向にあり、結果として分布外エラーパターンへの一般化が不十分であることがわかった。 BERTがほとんどのCSCモデルのバックボーンであることを考えると、この現象は大きな負の影響を及ぼす。 この問題に対処するため、既存のベンチマークよりも高品質で多様性の高いマルチドメインベンチマークLEMONをリリースし、CSCモデルのオープンドメインの一般化を包括的に評価する。 そこで我々は,入力シーケンスから20 %の非エラートークンをランダムにマスキングすることで,エラーモデルを犠牲にすることなく,より優れた言語モデルを学習できることを示す。 この手法はどんなモデルアーキテクチャにも適用可能で、SIGHAN、ECSpell、LEMONで最新の結果が得られる。

関連論文リスト

• Contextual Spelling Correction with Language Model for Low-resource Setting [0.0]
  文脈理解を伴うSCモデルを提供するために、小規模な単語ベースの変換器LMを訓練する。 コーパスからエラー発生確率(エラーモデル)を抽出する。 LMとエラーモデルを組み合わせることで、よく知られたノイズチャネルフレームワークを通じてSCモデルを開発することができる。
  論文  参考訳（メタデータ） (2024-04-28T05:29:35Z)
• On the Analysis of Cross-Lingual Prompt Tuning for Decoder-based Multilingual Model [49.81429697921861]
  多言語自己回帰モデルにおけるパラメータ効率細調整(PEFT)と言語間タスクの相互作用について検討する。 高速チューニングは、微調整よりも低リソース言語の性能向上に有効であることを示す。
  論文  参考訳（メタデータ） (2023-11-14T00:43:33Z)
• Chinese Spelling Correction as Rephrasing Language Model [63.65217759957206]
  文中のスペル誤りを検知し,訂正することを目的とした中国語スペル補正(CSC)について検討する。 現在の最先端の手法は、CSCをシーケンスタギングタスクと文対上の細いBERTベースのモデルとみなしている。 本稿では,文字から文字へのタグ付けではなく,追加のスロットを埋め込むことで文全体を言い換える言語モデル(ReLM)を提案する。
  論文  参考訳（メタデータ） (2023-08-17T06:04:28Z)
• A Comprehensive Evaluation and Analysis Study for Chinese Spelling Check [53.152011258252315]
  音声とグラフィックの情報を合理的に使用することは,中国語のスペルチェックに有効であることを示す。 モデルはテストセットのエラー分布に敏感であり、モデルの欠点を反映している。 一般的なベンチマークであるSIGHANは、モデルの性能を確実に評価できない。
  論文  参考訳（メタデータ） (2023-07-25T17:02:38Z)
• CSCD-NS: a Chinese Spelling Check Dataset for Native Speakers [62.61866477815883]
  CSCD-NSは中国初のネイティブ話者向けスペルチェックデータセットである。 CSCD-NSはスケールが10倍大きく、誤差分布が異なる。 本稿では,入力過程をシミュレーションする新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-16T09:25:42Z)
• uChecker: Masked Pretrained Language Models as Unsupervised Chinese Spelling Checkers [23.343006562849126]
  そこで我々はtextbfuChecker というフレームワークを提案し,教師なしのスペル検出と修正を行う。 BERTのようなマスキーク事前訓練言語モデルをバックボーンモデルとして導入する。 各種フレキシブルなMASKの操作に特化して,マスク付き言語モデルを微調整するためのコンフュージョンセット誘導マスキング戦略を提案する。
  論文  参考訳（メタデータ） (2022-09-15T05:57:12Z)
• Improving Pre-trained Language Models with Syntactic Dependency Prediction Task for Chinese Semantic Error Recognition [52.55136323341319]
  既存の中国語のテキスト誤り検出は主にスペルと単純な文法的誤りに焦点を当てている。 中国の意味的誤りは、人間が容易に認識できないほど過小評価され、複雑である。
  論文  参考訳（メタデータ） (2022-04-15T13:55:32Z)
• Evaluation of HTR models without Ground Truth Material [2.4792948967354236]
  手書き文字認識モデルの開発における評価は容易である。 しかし、開発からアプリケーションに切り替えると、評価プロセスはトリッキーになります。 我々は,レキシコンに基づく評価が,レキシコンに基づく手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-01-17T01:26:09Z)
• Early Stage LM Integration Using Local and Global Log-Linear Combination [46.91755970827846]
  暗黙のアライメント機構を持つシーケンス対シーケンスモデル(例えば注意)は、従来のハイブリッド隠れマルコフモデル(HMM)に対するパフォーマンスギャップを埋めている。 両方のケースで単語エラー率を改善する重要な要因は、大きなテキストのみのコーパスでトレーニングされた外部言語モデル(LM)を使用することである。 暗黙アライメントに基づくシーケンス・ツー・シーケンスモデルに言語モデルを統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-05-20T13:49:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。