Fugu-MT 論文翻訳(概要): StyleBERT: Chinese pretraining by font style information

論文の概要: StyleBERT: Chinese pretraining by font style information

arxiv url: http://arxiv.org/abs/2202.09955v2
Date: Wed, 23 Feb 2022 01:30:45 GMT
ステータス: 処理完了
システム内更新日: 2022-02-25 09:04:35.060100
Title: StyleBERT: Chinese pretraining by font style information
Title（参考訳）: StyleBERT:フォント情報による中国語事前学習
Authors: Chao Lv, Han Zhang, XinKai Du, Yunhao Zhang, Ying Huang, Wenhao Li, Jia Han, Shanshan Gu
Abstract要約: 実験により,中国における広範囲のNLPタスクにおいて,モデルが良好な性能を発揮することが示された。英語とは異なり、中国語にはグリフ情報などの特殊文字がある。
参考スコア（独自算出の注目度）: 14.585511561131078
License: http://creativecommons.org/licenses/by/4.0/
Abstract: With the success of down streaming task using English pre-trained language model, the pre-trained Chinese language model is also necessary to get a better performance of Chinese NLP task. Unlike the English language, Chinese has its special characters such as glyph information. So in this article, we propose the Chinese pre-trained language model StyleBERT which incorporate the following embedding information to enhance the savvy of language model, such as word, pinyin, five stroke and chaizi. The experiments show that the model achieves well performances on a wide range of Chinese NLP tasks.
Abstract（参考訳）: 英語事前学習言語モデルを用いたダウンストリーミングタスクの成功により、中国語NLPタスクのより良いパフォーマンスを得るためには、事前学習された中国語モデルも必要となる。英語とは異なり、中国語にはグリフ情報などの特殊文字がある。そこで本稿では,単語,ピニン,5ストローク,chaiziといった言語モデルの精通度を高めるために,以下の埋め込み情報を組み込んだ中国語事前学習言語モデルスタイルバートを提案する。実験により,中国における幅広いNLPタスクにおいて,モデルが良好な性能を発揮することが示された。

関連論文リスト

Shuo Wen Jie Zi: Rethinking Dictionaries and Glyphs for Chinese Language Pre-training [50.100992353488174]
辞書知識と漢字の構造を持つ中国語PLMの意味理解能力を高める新しい学習パラダイムであるCDBERTを紹介する。我々はCDBERTの2つの中核モジュールを Shuowen と Jiezi と名付け、そこで Shuowen は中国語辞書から最も適切な意味を取り出す過程を指す。本パラダイムは,従来の中国語PLMのタスク間における一貫した改善を実証する。
論文参考訳（メタデータ） (2023-05-30T05:48:36Z)
LERT: A Linguistically-motivated Pre-trained Language Model [67.65651497173998]
本稿では,3種類の言語特徴を学習する事前学習型言語モデルLERTを提案する。我々は,中国における10のNLUタスクについて広範な実験を行い,LERTが大きな改善をもたらすことを示す実験結果を得た。
論文参考訳（メタデータ） (2022-11-10T05:09:16Z)
TiBERT: Tibetan Pre-trained Language Model [2.9554549423413303]
本稿では,チベットのWebサイトから大規模なトレーニングデータを収集し,センテンスピースを用いてコーパス内の単語の99.95$%をカバーできる語彙を構築する。テキスト分類と質問生成の下流タスクにTiBERTを適用し、古典モデルと多言語事前学習モデルと比較する。
論文参考訳（メタデータ） (2022-05-15T14:45:08Z)
ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information [32.70080326854314]
我々は,漢字のグリフとピニイン情報を事前学習に組み込んだ ChineseBERT を提案する。提案した ChineseBERT モデルは,トレーニングステップの少ないベースラインモデルよりも大幅な性能向上を実現している。
論文参考訳（メタデータ） (2021-06-30T13:06:00Z)
Investigating Transfer Learning in Multilingual Pre-trained Language Models through Chinese Natural Language Inference [11.096793445651313]
中国語と英語の自然言語推論(NLI)におけるXLM-Rの言語間移動能力について検討する。言語移動をより深く理解するために、中国語の課題と敵対課題の4つのカテゴリを作成しました。英語のNLIで訓練された言語間のモデルが、中国語のタスク間でうまく伝達されていることが分かりました。
論文参考訳（メタデータ） (2021-06-07T22:00:18Z)
SHUOWEN-JIEZI: Linguistically Informed Tokenizers For Chinese Language Model Pretraining [48.880840711568425]
事前学習された言語モデルの中国語トークン化に対する3つの要因の影響について検討する。本稿では,発音に基づくトークン化システムであるSHUOWEN (Talk Word) と,グリフに基づくトークン化システムであるJIEZI (Solve Character) の3種類のトークン化手法を提案する。 SHUOWENとJIEZIは、一般的に従来のシングル文字トークンよりも優れた性能を持つ。
論文参考訳（メタデータ） (2021-06-01T11:20:02Z)
Lattice-BERT: Leveraging Multi-Granularity Representations in Chinese Pre-trained Language Models [62.41139712595334]
中国語のための新しい事前学習パラダイムであるLattice-BERTを提案する。文中の文字や単語から格子グラフを構築し、これらすべてのテキスト単位をトランスフォーマーに供給します。本モデルが12層設定で平均1.5%の増加をもたらすことを示した。
論文参考訳（メタデータ） (2021-04-15T02:36:49Z)
CPM: A Large-scale Generative Chinese Pre-trained Language Model [76.65305358932393]
我々は,大規模な中国語学習データに基づく生成事前学習を備えた中国語事前学習言語モデル(CPM)をリリースする。 CPMは、数ショット(ゼロショットでも)学習の設定において、多くのNLPタスクで強力なパフォーマンスを達成する。
論文参考訳（メタデータ） (2020-12-01T11:32:56Z)
MVP-BERT: Redesigning Vocabularies for Chinese BERT and Multi-Vocab Pretraining [5.503321733964237]
まず,中国語単語セグメンテーション(CWS)とサブワードトークン化の助けを借りて,中国語BERTの語彙を形成する新しい手法であるemphseg_tokを提案する。実験の結果,emphseg_tok は中国語 PLM の文レベルタスクの性能を向上するだけでなく,効率も向上することが示された。
論文参考訳（メタデータ） (2020-11-17T10:15:36Z)
CalliGAN: Style and Structure-aware Chinese Calligraphy Character Generator [6.440233787863018]
書道(きゅうりょう)とは、筆で行う芸術形式としての漢字の書法である。近年の研究では、1つのモデルを用いて複数のスタイルのイメージ・ツー・イメージ翻訳によって漢字を生成することができることが示されている。そこで本研究では,漢字の成分情報をモデルに組み込んだ新しい手法を提案する。
論文参考訳（メタデータ） (2020-05-26T03:15:03Z)
Revisiting Pre-Trained Models for Chinese Natural Language Processing [73.65780892128389]
我々は、中国語の事前学習言語モデルを再検討し、英語以外の言語での有効性について検討する。また,RoBERTaを改良したMacBERTモデルを提案する。
論文参考訳（メタデータ） (2020-04-29T02:08:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。