論文の概要: uChecker: Masked Pretrained Language Models as Unsupervised Chinese Spelling Checkers

• arxiv url: http://arxiv.org/abs/2209.07068v1
• Date: Thu, 15 Sep 2022 05:57:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-16 12:41:33.503547
• Title: uChecker: Masked Pretrained Language Models as Unsupervised Chinese Spelling Checkers
• Title（参考訳）: uchecker: 教師なしの中国語綴りチェッカーとして仮学習済み言語モデル
• Authors: Piji Li
• Abstract要約: そこで我々はtextbfuChecker というフレームワークを提案し,教師なしのスペル検出と修正を行う。 BERTのようなマスキーク事前訓練言語モデルをバックボーンモデルとして導入する。 各種フレキシブルなMASKの操作に特化して,マスク付き言語モデルを微調整するためのコンフュージョンセット誘導マスキング戦略を提案する。
• 参考スコア（独自算出の注目度）: 23.343006562849126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The task of Chinese Spelling Check (CSC) is aiming to detect and correct spelling errors that can be found in the text. While manually annotating a high-quality dataset is expensive and time-consuming, thus the scale of the training dataset is usually very small (e.g., SIGHAN15 only contains 2339 samples for training), therefore supervised-learning based models usually suffer the data sparsity limitation and over-fitting issue, especially in the era of big language models. In this paper, we are dedicated to investigating the \textbf{unsupervised} paradigm to address the CSC problem and we propose a framework named \textbf{uChecker} to conduct unsupervised spelling error detection and correction. Masked pretrained language models such as BERT are introduced as the backbone model considering their powerful language diagnosis capability. Benefiting from the various and flexible MASKing operations, we propose a Confusionset-guided masking strategy to fine-train the masked language model to further improve the performance of unsupervised detection and correction. Experimental results on standard datasets demonstrate the effectiveness of our proposed model uChecker in terms of character-level and sentence-level Accuracy, Precision, Recall, and F1-Measure on tasks of spelling error detection and correction respectively.
• Abstract（参考訳）: 中国語スペルチェック(CSC)のタスクは、テキストにあるスペルエラーを検出し、修正することを目的としている。 手動で高品質なデータセットに注釈をつけるのは高価で時間がかかるため、トレーニングデータセットのスケールは通常非常に小さい(例えば、sighan15はトレーニング用のサンプルを2339個だけ含む)ため、教師あり学習ベースのモデルは通常、特に大きな言語モデルの時代において、データのスパーシティ制限と過剰フィッティングの問題に苦しむ。 本稿では, CSC問題に対処するために, <textbf{unsupervised} パラダイムを調査することに専念し, 非教師付きスペル検出と修正を行うフレームワークである \textbf{uChecker} を提案する。 BERTのような仮設事前学習言語モデルは、強力な言語診断能力を考慮してバックボーンモデルとして導入される。 各種かつ柔軟なMASKing操作から,マスク付き言語モデルを微調整するコンフュージョンセット誘導マスキング手法を提案し,教師なし検出と修正の性能をさらに向上させる。 標準データセットを用いた実験により,スペル誤り検出と修正のタスクにおける文字レベルと文レベルの精度,精度,リコール,F1-Measureの両面での有効性が示された。

関連論文リスト

• Detection-Correction Structure via General Language Model for Grammatical Error Correction [22.609760120265587]
  本稿では,汎用言語モデル(GLM)に基づく,DeCoGLMという統合された検出補正構造を提案する。 検出フェーズはフォールトトレラント検出テンプレートを使用し、補正フェーズは自己回帰マスクの埋め込みを利用して局所的な誤り訂正を行う。 我々のモデルは、英語と中国語のECデータセットの最先端モデルと競合する性能を示す。
  論文  参考訳（メタデータ） (2024-05-28T04:04:40Z)
• Contextual Spelling Correction with Language Model for Low-resource Setting [0.0]
  文脈理解を伴うSCモデルを提供するために、小規模な単語ベースの変換器LMを訓練する。 コーパスからエラー発生確率(エラーモデル)を抽出する。 LMとエラーモデルを組み合わせることで、よく知られたノイズチャネルフレームワークを通じてSCモデルを開発することができる。
  論文  参考訳（メタデータ） (2024-04-28T05:29:35Z)
• Chinese Spelling Correction as Rephrasing Language Model [63.65217759957206]
  文中のスペル誤りを検知し,訂正することを目的とした中国語スペル補正(CSC)について検討する。 現在の最先端の手法は、CSCをシーケンスタギングタスクと文対上の細いBERTベースのモデルとみなしている。 本稿では,文字から文字へのタグ付けではなく,追加のスロットを埋め込むことで文全体を言い換える言語モデル(ReLM)を提案する。
  論文  参考訳（メタデータ） (2023-08-17T06:04:28Z)
• Unsupervised Calibration through Prior Adaptation for Text Classification using Large Language Models [37.39843935632105]
  ラベル付きサンプルを必要とせずにテキスト分類タスクを実行するために,先行クラス分布に適応する手法を提案する。 その結果,これらの手法は,プロンプト内の訓練ショット数が異なる場合,適応しないモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-07-13T12:11:36Z)
• Rethinking Masked Language Modeling for Chinese Spelling Correction [70.85829000570203]
  言語モデルと誤りモデルという2つの異なるモデルによる共同決定として,中国語のスペル補正(CSC)について検討する。 細調整されたBERTは、言語モデルに不適合なままエラーモデルに過度に適合する傾向にあり、その結果、分布外エラーパターンへの一般化が不十分であることがわかった。 微調整中に入力シーケンスから20%の非エラートークンをランダムにマスキングする非常に単純な戦略は、エラーモデルを犠牲にすることなく、はるかに優れた言語モデルを学ぶのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-05-28T13:19:12Z)
• Error-Robust Retrieval for Chinese Spelling Check [43.56073620728942]
  Chinese Spelling Check (CSC)は、中国のコンテキストにおけるエラートークンの検出と修正を目的としている。 これまでの方法では、既存のデータセットを完全に活用できない場合がある。 そこで我々は,中国語スペルチェックのための誤り情報付きプラグ・アンド・プレイ検索手法を提案する。
  論文  参考訳（メタデータ） (2022-11-15T01:55:34Z)
• Bridging the Gap Between Training and Inference of Bayesian Controllable Language Models [58.990214815032495]
  大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。 BCLMは制御可能な言語生成において効率的であることが示されている。 本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
  論文  参考訳（メタデータ） (2022-06-11T12:52:32Z)
• Improving Pre-trained Language Models with Syntactic Dependency Prediction Task for Chinese Semantic Error Recognition [52.55136323341319]
  既存の中国語のテキスト誤り検出は主にスペルと単純な文法的誤りに焦点を当てている。 中国の意味的誤りは、人間が容易に認識できないほど過小評価され、複雑である。
  論文  参考訳（メタデータ） (2022-04-15T13:55:32Z)
• NLI Data Sanity Check: Assessing the Effect of Data Corruption on Model Performance [3.7024660695776066]
  データセットがモデルの意味理解能力を評価するための良いテストベッドを構成するかどうかを評価することができる新しい診断テストスイートを提案します。 特に,広く使用されているベンチマーク(mnliおよびanli)に制御された腐敗変換を適用する。 モデル精度の大幅な低下は、元のデータセットがモデルの推論能力に適切な挑戦を提供することを示している。
  論文  参考訳（メタデータ） (2021-04-10T12:28:07Z)
• On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
  我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。 結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
  論文  参考訳（メタデータ） (2020-05-12T11:01:44Z)
• Towards Minimal Supervision BERT-based Grammar Error Correction [81.90356787324481]
  我々は、事前訓練された言語モデルからコンテキスト情報を取り入れて、アノテーションを活用し、多言語シナリオの恩恵を得ようとしている。 その結果、文法的誤り訂正タスクにおいて、変換器(BERT)からの双方向表現の強い可能性を示す。
  論文  参考訳（メタデータ） (2020-01-10T15:45:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。