Fugu-MT 論文翻訳(概要): GlyphCRM: Bidirectional Encoder Representation for Chinese Character with its Glyph

論文の概要: GlyphCRM: Bidirectional Encoder Representation for Chinese Character with its Glyph

arxiv url: http://arxiv.org/abs/2107.00395v1
Date: Thu, 1 Jul 2021 12:14:05 GMT
ステータス: 処理完了
システム内更新日: 2021-07-02 14:04:09.837668
Title: GlyphCRM: Bidirectional Encoder Representation for Chinese Character with its Glyph
Title（参考訳）: glyphcrm:そのグリフを用いた漢字の双方向エンコーダ表現
Authors: Yunxin Li, Yu Zhao, Baotian Hu, Qingcai Chen, Yang Xiang, Xiaolong Wang, Yuxin Ding, Lin Ma
Abstract要約: 以前は、漢字のグリフには豊かな意味情報が含まれていることが示唆されていた。我々は,Glyph CRMという名前の中国語事前学習表現モデルを提案する。 IDベースの文字埋め込みを放棄するが、シーケンシャルな文字画像のみをベースとしている。
参考スコア（独自算出の注目度）: 31.723483415041347
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Previous works indicate that the glyph of Chinese characters contains rich semantic information and has the potential to enhance the representation of Chinese characters. The typical method to utilize the glyph features is by incorporating them into the character embedding space. Inspired by previous methods, we innovatively propose a Chinese pre-trained representation model named as GlyphCRM, which abandons the ID-based character embedding method yet solely based on sequential character images. We render each character into a binary grayscale image and design two-channel position feature maps for it. Formally, we first design a two-layer residual convolutional neural network, namely HanGlyph to generate the initial glyph representation of Chinese characters, and subsequently adopt multiple bidirectional encoder Transformer blocks as the superstructure to capture the context-sensitive information. Meanwhile, we feed the glyph features extracted from each layer of the HanGlyph module into the underlying Transformer blocks by skip-connection method to fully exploit the glyph features of Chinese characters. As the HanGlyph module can obtain a sufficient glyph representation of any Chinese character, the long-standing out-of-vocabulary problem could be effectively solved. Extensive experimental results indicate that GlyphCRM substantially outperforms the previous BERT-based state-of-the-art model on 9 fine-tuning tasks, and it has strong transferability and generalization on specialized fields and low-resource tasks. We hope this work could spark further research beyond the realms of well-established representation of Chinese texts.
Abstract（参考訳）: 従来は、漢字のグリフには豊かな意味情報が含まれており、漢字の表現を強化する可能性があった。グリフの特徴を利用する典型的な方法は、それらを文字埋め込み空間に組み込むことである。従来の手法にインスパイアされた中国語の事前学習表現モデルであるGlyphCRMを提案する。各キャラクタを2つのグレースケールイメージにレンダリングし,2チャンネルの位置特徴マップをデザインする。まず,漢字の最初のグリフ表現を生成するためにHanGlyphという2層残差畳み込みニューラルネットワークを設計し,その後,複数の双方向エンコーダ変換器ブロックをスーパー構造として採用し,文脈に敏感な情報を取得する。一方,ハングリフモジュールの各層から抽出されたグリフ特徴をスキップ接続法によって基礎となる変圧器ブロックに供給し,漢字のグリフ特徴を完全に活用する。 HanGlyphモジュールは任意の漢字の十分なグリフ表現を得ることができるので、長期間の語彙外問題を効果的に解くことができる。 GlyphCRMは、9つの微調整タスクにおいて、従来のBERTベースの最先端モデルよりも大幅に優れており、特殊フィールドや低リソースタスクにおいて、転送性と一般化性が強い。この研究が、漢文表現の確立した領域を超えて、さらなる研究を引き起こすことを期待している。

関連論文リスト

DeepCalliFont: Few-shot Chinese Calligraphy Font Synthesis by Integrating Dual-modality Generative Models [20.76773399161289]
特に中国語のフォントのフォント生成は困難で、進行中の課題である。本稿では,2つのモダリティ生成モデルを統合することで,数ショットの漢字フォント合成のための新しいモデルDeepCalliFontを提案する。
論文参考訳（メタデータ） (2023-12-16T04:23:12Z)
Chinese Text Recognition with A Pre-Trained CLIP-Like Model Through Image-IDS Aligning [61.34060587461462]
中国語テキスト認識(CTR)のための2段階フレームワークを提案する。印刷文字画像とIdeographic Description Sequences (IDS) の整列によるCLIP様モデルの事前学習を行う。この事前学習段階は、漢字を認識する人間をシミュレートし、各文字の標準表現を得る。学習された表現はCTRモデルを監督するために使用され、従来の単一文字認識はテキストライン認識に改善される。
論文参考訳（メタデータ） (2023-09-03T05:33:16Z)
VQ-Font: Few-Shot Font Generation with Structure-Aware Enhancement and Quantization [52.870638830417]
本稿では,VQGANベースのフレームワーク(VQ-Font)を提案する。具体的には、コードブック内でフォントトークンをカプセル化するために、VQGANを事前訓練する。その後、VQ-Fontは、合成したグリフをコードブックで洗練し、合成されたストロークと実世界のストロークのドメインギャップをなくす。
論文参考訳（メタデータ） (2023-08-27T06:32:20Z)
Stroke-Based Autoencoders: Self-Supervised Learners for Efficient Zero-Shot Chinese Character Recognition [4.64065792373245]
我々は漢字の洗練された形態をモデル化するストロークベースのオートエンコーダを開発した。我々のSAEアーキテクチャは、ゼロショット認識において、他の既存の手法よりも優れています。
論文参考訳（メタデータ） (2022-07-17T14:39:10Z)
Few-Shot Font Generation by Learning Fine-Grained Local Styles [90.39288370855115]
フラッシュショットフォント生成(FFG)は、いくつかの例で新しいフォントを生成することを目的としている。提案手法は,1)参照からきめ細かな局所スタイルを学習し,2)コンテンツと参照グリフの空間的対応を学習するフォント生成手法である。
論文参考訳（メタデータ） (2022-05-20T05:07:05Z)
Font Completion and Manipulation by Cycling Between Multi-Modality Representations [113.26243126754704]
中間表現としてグラフを用いた2次元グラフィックオブジェクトとしてフォントグリフの生成を探求する。我々は、画像エンコーダと画像の間のグラフで、モダリティサイクルのイメージ・ツー・イメージ構造を定式化する。本モデルでは,画像から画像までのベースラインと,それ以前のグリフ補完手法よりも改善された結果を生成する。
論文参考訳（メタデータ） (2021-08-30T02:43:29Z)
ZiGAN: Fine-grained Chinese Calligraphy Font Generation via a Few-shot Style Transfer Approach [7.318027179922774]
ZiGANは、強力なエンドツーエンドの漢字フォント生成フレームワークである。微粒なターゲットスタイルの文字を生成するために手動操作や冗長な前処理を一切必要としない。提案手法は,数発の漢字スタイル転送における最先端の一般化能力を有する。
論文参考訳（メタデータ） (2021-08-08T09:50:20Z)
ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information [32.70080326854314]
我々は,漢字のグリフとピニイン情報を事前学習に組み込んだ ChineseBERT を提案する。提案した ChineseBERT モデルは,トレーニングステップの少ないベースラインモデルよりも大幅な性能向上を実現している。
論文参考訳（メタデータ） (2021-06-30T13:06:00Z)
A Multi-Implicit Neural Representation for Fonts [79.6123184198301]
エッジやコーナーのようなフォント固有の不連続性は、ニューラルネットワークを使って表現することが難しい。そこで我々は,フォントを文順に表現するためのtextitmulti-implicitsを導入する。
論文参考訳（メタデータ） (2021-06-12T21:40:11Z)
Lattice-BERT: Leveraging Multi-Granularity Representations in Chinese Pre-trained Language Models [62.41139712595334]
中国語のための新しい事前学習パラダイムであるLattice-BERTを提案する。文中の文字や単語から格子グラフを構築し、これらすべてのテキスト単位をトランスフォーマーに供給します。本モデルが12層設定で平均1.5%の増加をもたらすことを示した。
論文参考訳（メタデータ） (2021-04-15T02:36:49Z)
FGN: Fusion Glyph Network for Chinese Named Entity Recognition [5.653869962555973]
我々は,中国NERのためのFGN,Fusion Glyph Networkを提案する。 FGNは、隣接する文字からグリフ情報とグリフ間の対話的な情報の両方をキャプチャする。 4つのNERデータセットを用いて実験を行い、LSTM-CRFをタグとして用いたFGNが、中国NERの新たな最先端性能を実現することを示した。
論文参考訳（メタデータ） (2020-01-15T12:39:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。