論文の概要: Lexicon Enhanced Chinese Sequence Labelling Using BERT Adapter

• arxiv url: http://arxiv.org/abs/2105.07148v1
• Date: Sat, 15 May 2021 06:13:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-18 14:52:54.319237
• Title: Lexicon Enhanced Chinese Sequence Labelling Using BERT Adapter
• Title（参考訳）: BERTアダプタを用いた辞書型中国語シーケンスラベリング
• Authors: Wei Liu, Xiyan Fu, Yue Zhang and Wenming Xiao
• Abstract要約: 既存のメソッドは、浅いランダムなシーケンス層を介してレキシコン機能を融合するだけで、BERTの下位層に統合しない。 本稿では,中国語シーケンスラベリングのためのLexicon Enhanced BERT (LEBERT)を提案する。 既存の手法と比較して, bert の下位層において, 深いレキシコン知識の融合を実現する。
• 参考スコア（独自算出の注目度）: 15.336753753889035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lexicon information and pre-trained models, such as BERT, have been combined to explore Chinese sequence labelling tasks due to their respective strengths. However, existing methods solely fuse lexicon features via a shallow and random initialized sequence layer and do not integrate them into the bottom layers of BERT. In this paper, we propose Lexicon Enhanced BERT (LEBERT) for Chinese sequence labelling, which integrates external lexicon knowledge into BERT layers directly by a Lexicon Adapter layer. Compared with the existing methods, our model facilitates deep lexicon knowledge fusion at the lower layers of BERT. Experiments on ten Chinese datasets of three tasks including Named Entity Recognition, Word Segmentation, and Part-of-Speech tagging, show that LEBERT achieves the state-of-the-art results.
• Abstract（参考訳）: BERTのような辞書情報と事前学習モデルを組み合わせて、それぞれの強みから中国語のシーケンスラベリングタスクを探索している。 しかし、既存の手法は、浅いランダムな初期化シーケンス層を介してレキシコン機能を融合させ、BERTの下位層に統合しない。 本稿では,外部レキシコン知識をレキシコンアダプタ層によって直接bert層に統合する,中国語シーケンスラベリングのためのレキシコン拡張bert(lebert)を提案する。 既存の手法と比較して,本モデルはBERTの下位層での深い語彙知識融合を容易にする。 Named Entity Recognition、Word Segmentation、Part-of-Speech taggingを含む3つのタスクからなる10の中国語データセットの実験は、LEBERTが最先端の結果を達成することを示す。

関連論文リスト

• Make BERT-based Chinese Spelling Check Model Enhanced by Layerwise Attention and Gaussian Mixture Model [33.446533426654995]
  我々は、BERTベースのCSCモデルを強化するために、異種知識注入フレームワークを設計する。 複数層表現を生成するために,n-gram-based layerwise self-attention の新たな形式を提案する。 実験の結果,提案手法は4つの強力なベースラインモデルに対して安定な性能向上をもたらすことがわかった。
  論文  参考訳（メタデータ） (2023-12-27T16:11:07Z)
• BEST: BERT Pre-Training for Sign Language Recognition with Coupling Tokenization [135.73436686653315]
  我々は、BERTの事前学習の成功を活用し、手話認識(SLR)モデルを肥大化させるために、ドメイン固有の統計モデルを構築している。 手と体が手話表現の優位性を考えると、それらを三重奏単位として整理し、トランスフォーマーのバックボーンに供給する。 劣化した入力シーケンスからマスク三重項ユニットを再構成して事前学習を行う。 意味的ジェスチャー/身体状態を表すポーズ三重奏ユニットから離散擬似ラベルを適応的に抽出する。
  論文  参考訳（メタデータ） (2023-02-10T06:23:44Z)
• Unsupervised Boundary-Aware Language Model Pretraining for Chinese Sequence Labeling [25.58155857967128]
  境界情報は、単語分割、音声タグ付け、名前付きエンティティ認識など、さまざまな中国語処理タスクにおいて重要である。 本稿では,事前学習した言語モデルに直接情報をエンコードするアーキテクチャを提案し,その結果,Bundary-Aware BERT (BABERT) となる。 中国のシークエンスラベリングを10のベンチマークで評価した結果、BABERTはすべてのデータセットに対して一貫した改善を提供することができた。
  論文  参考訳（メタデータ） (2022-10-27T07:38:50Z)
• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)
• MarkBERT: Marking Word Boundaries Improves Chinese BERT [67.53732128091747]
  MarkBERTは、語彙を漢字として保持し、連続した単語間の境界マーカーを挿入する。 従来の単語ベースのBERTモデルと比較して、MarkBERTはテキスト分類、キーワード認識、意味的類似性タスクにおいて精度が向上している。
  論文  参考訳（メタデータ） (2022-03-12T08:43:06Z)
• DyLex: Incorporating Dynamic Lexicons into BERT for Sequence Labeling [49.3379730319246]
  BERTに基づくシーケンスラベリングタスクのためのプラグインレキシコンの組込み手法であるDyLexを提案する。 語彙を更新しながら表現を再学習しないように,単語に依存しないタグ埋め込みを採用する。 最後に,提案フレームワークのプラグイン性を保証するために,協調的注意に基づく知識融合機構を導入する。
  論文  参考訳（メタデータ） (2021-09-18T03:15:49Z)
• Lex-BERT: Enhancing BERT based NER with lexicons [1.6884834576352221]
  Lex-BERTは、名前付きエンティティ認識タスクのために、中国語のBERTに辞書情報を組み込むものです。 我々のモデルは新しいパラメータを導入せず、FLATよりも効率的です。
  論文  参考訳（メタデータ） (2021-01-02T07:43:21Z)
• It's not Greek to mBERT: Inducing Word-Level Translations from Multilingual BERT [54.84185432755821]
  mBERT (multilingual BERT) は、言語間での移動を可能にするリッチな言語間表現を学習する。 我々はmBERTに埋め込まれた単語レベルの翻訳情報について検討し、微調整なしで優れた翻訳能力を示す2つの簡単な方法を提案する。
  論文  参考訳（メタデータ） (2020-10-16T09:49:32Z)
• SBERT-WK: A Sentence Embedding Method by Dissecting BERT-based Word Models [43.18970770343777]
  BERTと呼ばれる文脈化された単語表現は、非常に少数のNLPタスクで最先端のパフォーマンスを達成する。 しかし、BERTベースの単語モデルから高品質な文表現を生成することは、オープンな問題である。 本稿では,単語表現に代表される空間の幾何学的解析により,BERTに基づく単語モデルを切り離すことにより,新しい文埋め込み手法を提案する。
  論文  参考訳（メタデータ） (2020-02-16T19:02:52Z)
• BERT's output layer recognizes all hidden layers? Some Intriguing Phenomena and a simple way to boost BERT [53.63288887672302]
  変換器による双方向表現(BERT)は多くの自然言語処理(NLP)タスクで大きな成功を収めている。 その結果,BERTの各層を直接入力として取り込むことで,BERTの出力層が入力文を再構築できることが判明した。 本稿では,BERTの性能向上のための非常に単純な手法を提案する。
  論文  参考訳（メタデータ） (2020-01-25T13:35:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。