論文の概要: Shuo Wen Jie Zi: Rethinking Dictionaries and Glyphs for Chinese Language Pre-training

• arxiv url: http://arxiv.org/abs/2305.18760v1
• Date: Tue, 30 May 2023 05:48:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 18:11:02.364942
• Title: Shuo Wen Jie Zi: Rethinking Dictionaries and Glyphs for Chinese Language Pre-training
• Title（参考訳）: Shuo Wen Jie Zi氏:中国語事前学習のための辞書とグリフの再考
• Authors: Yuxuan Wang, Jianghui Wang, Dongyan Zhao, and Zilong Zheng
• Abstract要約: 辞書知識と漢字の構造を持つ中国語PLMの意味理解能力を高める新しい学習パラダイムであるCDBERTを紹介する。 我々はCDBERTの2つの中核モジュールを Shuowen と Jiezi と名付け、そこで Shuowen は中国語辞書から最も適切な意味を取り出す過程を指す。 本パラダイムは,従来の中国語PLMのタスク間における一貫した改善を実証する。
• 参考スコア（独自算出の注目度）: 50.100992353488174
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce CDBERT, a new learning paradigm that enhances the semantics understanding ability of the Chinese PLMs with dictionary knowledge and structure of Chinese characters. We name the two core modules of CDBERT as Shuowen and Jiezi, where Shuowen refers to the process of retrieving the most appropriate meaning from Chinese dictionaries and Jiezi refers to the process of enhancing characters' glyph representations with structure understanding. To facilitate dictionary understanding, we propose three pre-training tasks, i.e., Masked Entry Modeling, Contrastive Learning for Synonym and Antonym, and Example Learning. We evaluate our method on both modern Chinese understanding benchmark CLUE and ancient Chinese benchmark CCLUE. Moreover, we propose a new polysemy discrimination task PolyMRC based on the collected dictionary of ancient Chinese. Our paradigm demonstrates consistent improvements on previous Chinese PLMs across all tasks. Moreover, our approach yields significant boosting on few-shot setting of ancient Chinese understanding.
• Abstract（参考訳）: 辞書知識と漢字の構造を持つ中国語PLMの意味理解能力を高める新しい学習パラダイムであるCDBERTを紹介する。 cdbert の2つのコアモジュールを shuowen と jiezi と命名し、そこではshuowen は中国語辞書から最も適切な意味を検索するプロセスを指し、jiezi は構造理解による文字のグリフ表現を強化するプロセスを指す。 辞書理解を容易にするために,3つの事前学習課題,すなわち,マスケッド・エントリー・モデリング,構文とアンソニムのコントラスト学習,例学習を提案する。 我々は,現代中国語理解ベンチマーク CLUE と古代中国語理解ベンチマーク CCLUE を比較した。 さらに, 古代中国語の辞書をもとに, 新たなポリセミー識別タスク polymrc を提案する。 本パラダイムは,従来の中国語PLMのタスク間における一貫した改善を示す。 さらに,このアプローチは,中国古代の理解の少なさを著しく高めている。

関連論文リスト

• Puzzle Pieces Picker: Deciphering Ancient Chinese Characters with Radical Reconstruction [73.26364649572237]
  Oracle Bone Inscriptionsは、世界で最も古い書式である。 多くのOracle Bone Inscriptions (OBI) は未解読のままであり、今日の古生物学におけるグローバルな課題の1つとなっている。 本稿では, 急進的再構成によってこれらの謎的文字を解読する新しい手法, Puzzle Pieces Picker (P$3$) を提案する。
  論文  参考訳（メタデータ） (2024-06-05T07:34:39Z)
• Chinese Text Recognition with A Pre-Trained CLIP-Like Model Through Image-IDS Aligning [61.34060587461462]
  中国語テキスト認識(CTR)のための2段階フレームワークを提案する。 印刷文字画像とIdeographic Description Sequences (IDS) の整列によるCLIP様モデルの事前学習を行う。 この事前学習段階は、漢字を認識する人間をシミュレートし、各文字の標準表現を得る。 学習された表現はCTRモデルを監督するために使用され、従来の単一文字認識はテキストライン認識に改善される。
  論文  参考訳（メタデータ） (2023-09-03T05:33:16Z)
• Translate to Disambiguate: Zero-shot Multilingual Word Sense Disambiguation with Pretrained Language Models [67.19567060894563]
  事前訓練された言語モデル(PLM)は、豊富な言語間知識を学習し、多様なタスクでうまく機能するように微調整することができる。 C-WLT(Contextual Word-Level Translation)を用いた言語間単語感覚の捉え方の検討を行った。 モデルのサイズが大きくなるにつれて、PLMはより言語間単語認識の知識をエンコードし、WLT性能を改善するためのコンテキストを良くする。
  論文  参考訳（メタデータ） (2023-04-26T19:55:52Z)
• Character, Word, or Both? Revisiting the Segmentation Granularity for Chinese Pre-trained Language Models [42.75756994523378]
  文字と単語の両方を考慮した混合粒度中国語 BERT (MigBERT) を提案する。 提案するMigBERTだけでなく,既存のPLMを評価するために,中国における様々なNLPタスクについて広範な実験を行った。 MigBERTは、これらすべてのタスクで新しいSOTAパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-03-20T06:20:03Z)
• Exploring and Adapting Chinese GPT to Pinyin Input Method [48.15790080309427]
  我々は,中国GPTをピンイン入力に活用する最初の探索を行っている。 凍結したGPTは、完璧なピニイン上で最先端のパフォーマンスを達成する。 しかし、入力に短縮ピンインが含まれていると、性能が劇的に低下する。
  論文  参考訳（メタデータ） (2022-03-01T06:05:07Z)
• ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information [32.70080326854314]
  我々は,漢字のグリフとピニイン情報を事前学習に組み込んだ ChineseBERT を提案する。 提案した ChineseBERT モデルは,トレーニングステップの少ないベースラインモデルよりも大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2021-06-30T13:06:00Z)
• SHUOWEN-JIEZI: Linguistically Informed Tokenizers For Chinese Language Model Pretraining [48.880840711568425]
  事前学習された言語モデルの中国語トークン化に対する3つの要因の影響について検討する。 本稿では,発音に基づくトークン化システムであるSHUOWEN (Talk Word) と,グリフに基づくトークン化システムであるJIEZI (Solve Character) の3種類のトークン化手法を提案する。 SHUOWENとJIEZIは、一般的に従来のシングル文字トークンよりも優れた性能を持つ。
  論文  参考訳（メタデータ） (2021-06-01T11:20:02Z)
• An In-depth Study on Internal Structure of Chinese Words [34.864343591706984]
  本研究は,中国語の単語の深い内部構造を,構文的関係を識別するための11のラベルを持つ依存木としてモデル化することを提案する。 中国語の Penn Treebank から 30K 以上の多字語からなる単語内構造木バンク (WIST) を手動で注釈する。 我々は,中国語の単語形成に関する知見を明らかにするために,WISTに関する詳細な,興味深い分析を行った。
  論文  参考訳（メタデータ） (2021-06-01T09:09:51Z)
• Chinese Lexical Simplification [29.464388721085548]
  中国の語彙単純化(CLS)に関する研究は行われていない。 アノテーション取得の難しさを回避するため,我々はCLSの最初のベンチマークデータセットを手作業で作成する。 複雑な単語の代用候補を生成するために,5種類のメソッドをベースラインとして提示する。
  論文  参考訳（メタデータ） (2020-10-14T12:55:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。