論文の概要: Exploring the Usage of Chinese Pinyin in Pretraining

• arxiv url: http://arxiv.org/abs/2310.04960v1
• Date: Sun, 8 Oct 2023 01:26:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 14:07:35.154867
• Title: Exploring the Usage of Chinese Pinyin in Pretraining
• Title（参考訳）: プレトレーニングにおける中国ピニーンの活用
• Authors: Baojun Wang, Kun Xu, Lifeng Shang
• Abstract要約: ピニインは、ASR導入エラーに対するエラー訂正や耐故障性など、多くのシナリオにおいて不可欠である。 そこで本研究では,PmBERTと呼ばれる事前学習モデルにPinyinを使用する方法について検討し,新しい事前学習手法を提案する。
• 参考スコア（独自算出の注目度）: 28.875174965608554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unlike alphabetic languages, Chinese spelling and pronunciation are different. Both characters and pinyin take an important role in Chinese language understanding. In Chinese NLP tasks, we almost adopt characters or words as model input, and few works study how to use pinyin. However, pinyin is essential in many scenarios, such as error correction and fault tolerance for ASR-introduced errors. Most of these errors are caused by the same or similar pronunciation words, and we refer to this type of error as SSP(the same or similar pronunciation) errors for short. In this work, we explore various ways of using pinyin in pretraining models and propose a new pretraining method called PmBERT. Our method uses characters and pinyin in parallel for pretraining. Through delicate pretraining tasks, the characters and pinyin representation are fused, which can enhance the error tolerance for SSP errors. We do comprehensive experiments and ablation tests to explore what makes a robust phonetic enhanced Chinese language model. The experimental results on both the constructed noise-added dataset and the public error-correction dataset demonstrate that our model is more robust compared to SOTA models.
• Abstract（参考訳）: アルファベットとは異なり、中国語の綴りと発音が異なる。 漢字もピン音も中国語理解において重要な役割を担っている。 中国語のNLPタスクでは、ほとんど文字や単語をモデル入力として採用し、ピンインの使い方を研究する研究はほとんどない。 しかし、Pinyinは、ASR導入エラーに対するエラー訂正や耐故障性など、多くのシナリオにおいて必須である。 これらの誤りのほとんどは同一または類似の発音語によって引き起こされ、このタイプの誤りを略してSSP(同または類似の発音)エラーと呼ぶ。 そこで本研究では,PmBERTと呼ばれる事前学習モデルにPinyinを使用する方法について検討し,新しい事前学習手法を提案する。 プリトレーニングには文字とピンインを並列に使用する。 微妙な事前訓練タスクにより、文字とピニイン表現が融合し、SSPエラーに対するエラー耐性を高めることができる。 我々は、頑健な音韻拡張中国語モデルを作るための包括的な実験とアブレーションテストを行う。 構築した雑音付加データセットと公開誤り補正データセットの両方の実験結果から,我々のモデルはSOTAモデルよりも堅牢であることが示された。

関連論文リスト

• Large Language Model Should Understand Pinyin for Chinese ASR Error Correction [31.13523648668466]
  我々は,中国のASR誤り訂正を改善するため,Pinyin-enhanced GECを提案する。 提案手法は, 合成誤差をトレーニングに用い, 推論時に最良仮説を用いる。 Aishell-1とCommon Voiceデータセットの実験は、我々のアプローチがテキストのみの入力でGECを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2024-09-20T06:50:56Z)
• Shuo Wen Jie Zi: Rethinking Dictionaries and Glyphs for Chinese Language Pre-training [50.100992353488174]
  辞書知識と漢字の構造を持つ中国語PLMの意味理解能力を高める新しい学習パラダイムであるCDBERTを紹介する。 我々はCDBERTの2つの中核モジュールを Shuowen と Jiezi と名付け、そこで Shuowen は中国語辞書から最も適切な意味を取り出す過程を指す。 本パラダイムは,従来の中国語PLMのタスク間における一貫した改善を実証する。
  論文  参考訳（メタデータ） (2023-05-30T05:48:36Z)
• READIN: A Chinese Multi-Task Benchmark with Realistic and Diverse Input Noises [87.70001456418504]
  我々は、Realistic and Diverse Input Noisesを用いた中国のマルチタスクベンチマークREADINを構築した。 READINには4つの多様なタスクとアノテータが含まれており、Pinyin入力と音声入力という2つの一般的な中国語入力方式で元のテストデータを再入力するよう要求する。 我々は、強化された事前訓練された言語モデルと、堅牢なトレーニング手法を用いて実験を行い、これらのモデルがREADINに顕著な性能低下を被ることがしばしば見いだされた。
  論文  参考訳（メタデータ） (2023-02-14T20:14:39Z)
• Improving Pre-trained Language Models with Syntactic Dependency Prediction Task for Chinese Semantic Error Recognition [52.55136323341319]
  既存の中国語のテキスト誤り検出は主にスペルと単純な文法的誤りに焦点を当てている。 中国の意味的誤りは、人間が容易に認識できないほど過小評価され、複雑である。
  論文  参考訳（メタデータ） (2022-04-15T13:55:32Z)
• Exploring and Adapting Chinese GPT to Pinyin Input Method [48.15790080309427]
  我々は,中国GPTをピンイン入力に活用する最初の探索を行っている。 凍結したGPTは、完璧なピニイン上で最先端のパフォーマンスを達成する。 しかし、入力に短縮ピンインが含まれていると、性能が劇的に低下する。
  論文  参考訳（メタデータ） (2022-03-01T06:05:07Z)
• Dual-Decoder Transformer For end-to-end Mandarin Chinese Speech Recognition with Pinyin and Character [15.999657143705045]
  ピニインと文字・綴り体系としての性格はそれぞれ、中国語における相互の昇進である。 そこで本研究では,2次元デコーダ変換器を用いた新しい中国語ASRモデルを提案する。 AISHELL-1データセットのテストセットの結果は、言語モデルを持たない音声-ピニイン-文字-相互作用(S PCI)モデルがテストセット上で9.85%の文字誤り率(CER)を達成することを示している。
  論文  参考訳（メタデータ） (2022-01-26T07:59:03Z)
• ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information [32.70080326854314]
  我々は,漢字のグリフとピニイン情報を事前学習に組み込んだ ChineseBERT を提案する。 提案した ChineseBERT モデルは,トレーニングステップの少ないベースラインモデルよりも大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2021-06-30T13:06:00Z)
• SHUOWEN-JIEZI: Linguistically Informed Tokenizers For Chinese Language Model Pretraining [48.880840711568425]
  事前学習された言語モデルの中国語トークン化に対する3つの要因の影響について検討する。 本稿では,発音に基づくトークン化システムであるSHUOWEN (Talk Word) と,グリフに基づくトークン化システムであるJIEZI (Solve Character) の3種類のトークン化手法を提案する。 SHUOWENとJIEZIは、一般的に従来のシングル文字トークンよりも優れた性能を持つ。
  論文  参考訳（メタデータ） (2021-06-01T11:20:02Z)
• Read, Listen, and See: Leveraging Multimodal Information Helps Chinese Spell Checking [20.74049189959078]
  本稿では,漢字のマルチモーダル情報を直接活用して,ReaLiSeという中国語スペルチェッカーを提案する。 ReaLiSeは、(1)入力文字のセマンティック、音声、グラフィック情報をキャプチャし、(2)これらのモダリティに情報を混ぜて正しい出力を予測することによって、CSCタスクをモデル化する。 SIGHANベンチマークの実験では、提案されたモデルは大きなマージンで強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2021-05-26T02:38:11Z)
• 2kenize: Tying Subword Sequences for Chinese Script Conversion [54.33749520569979]
  本稿では,2つのスクリプト間のマッピングと変換をあいまいにできるモデルを提案する。 提案手法は,従来の漢字変換手法よりも精度が6ポイント向上した。
  論文  参考訳（メタデータ） (2020-05-07T10:53:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。