論文の概要: NFLAT: Non-Flat-Lattice Transformer for Chinese Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2205.05832v1
• Date: Thu, 12 May 2022 01:55:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-13 12:20:13.462675
• Title: NFLAT: Non-Flat-Lattice Transformer for Chinese Named Entity Recognition
• Title（参考訳）: nflat:中国のエンティティ認識のための非フラットラティストランス
• Authors: Shuang Wu, Xiaoning Song, Zhenhua Feng, Xiaojun Wu
• Abstract要約: 我々は,計算コストとメモリコストを効果的に削減する新しい語彙拡張手法であるInterFormerを提唱する。 FLATと比較して「単語文字」と「単語」の不要な注意計算を減らす これにより、メモリ使用量が約50%削減され、ネットワークトレーニングのためにより広範なレキシコンやより高いバッチを使用することができる。
• 参考スコア（独自算出の注目度）: 39.308634515653914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, FLAT has achieved great success in Chinese Named Entity Recognition (NER). This method achieves lexical enhancement by constructing a flat lattice, which mitigates the difficulties posed by blurred word boundaries and the lack of word semantics. To this end, FLAT uses the position information of the starting and ending characters to connect the matching words. However, this method is likely to match more words when dealing with long texts, resulting in very long input sequences. Therefore, it increases the memory used by self-attention and computational costs. To deal with this issue, we advocate a novel lexical enhancement method, InterFormer, that effectively reduces the amount of computational and memory costs by constructing the non-flat-lattice. Furthermore, we implement a complete model, namely NFLAT, for the Chinese NER task. NFLAT decouples lexicon fusion and context feature encoding. Compared with FLAT, it reduces unnecessary attention calculations in "word-character" and "word-word". This reduces the memory usage by about 50\% and can use more extensive lexicons or higher batches for network training. The experimental results obtained on several well-known benchmarks demonstrate the superiority of the proposed method over the state-of-the-art character-word hybrid models.
• Abstract（参考訳）: 近年、FLATは中国の名前付きエンティティ認識(NER)において大きな成功を収めている。 単語境界の曖昧さや単語意味論の欠如によって生じる困難を緩和する平坦な格子を構築することで語彙強調を実現する。 この目的のためにFLATは、開始文字と終了文字の位置情報を用いて一致する単語を接続する。 しかし、この方法は長いテキストを扱う際により多くの単語にマッチし、非常に長い入力シーケンスをもたらす。 したがって、セルフアテンションと計算コストで使用されるメモリを増加させる。 この問題に対処するため,非平坦格子を構成することで計算コストとメモリコストを効果的に削減する新しい語彙拡張手法であるInterFormerを提案する。 さらに,中国NERタスクのための完全モデルであるNFLATを実装した。 NFLATはレキシコン融合とコンテキスト特徴符号化を分離する。 FLATと比較して、"word-character" と "word-word" の不要な注意計算を減らす。 これにより、メモリ使用量が約50\%削減され、ネットワークトレーニングにより広範なレキシコンやバッチを使用することができる。 いくつかの有名なベンチマークで得られた実験結果は、最先端の文字-単語ハイブリッドモデルよりも提案手法が優れていることを示している。

関連論文リスト

• A Vocabulary-Free Multilingual Neural Tokenizer for End-to-End Task Learning [8.052271364177988]
  サブワードトークン化は、最近のNLPモデルで一般的に使われる入力前処理のステップである。 本稿では,サブワードトークン化からセグメンテーション情報を抽出し,語彙自由なニューラルトークン化手法を提案する。 我々のトークンライザは、多言語(NLI)タスクとコードスイッチング(センチメント分析)タスクのパフォーマンスを一貫して改善します。
  論文  参考訳（メタデータ） (2022-04-22T16:50:49Z)
• Between words and characters: A Brief History of Open-Vocabulary Modeling and Tokenization in NLP [22.772546707304766]
  単語と文字のハイブリッドなアプローチと,学習セグメンテーションに基づくサブワードベースのアプローチが提案され,評価されていることを示す。 すべてのアプリケーションに対して銀の弾丸特異解が存在することはあり得ない。
  論文  参考訳（メタデータ） (2021-12-20T13:04:18Z)
• Embedding Convolutions for Short Text Extreme Classification with Millions of Labels [1.7044368816068713]
  Short Text Extreme Classificationは、最近、関連する検索や製品レコメンデーションタスクの予測に多くの応用を見出した。 本稿では、畳み込み操作をリキャストして、埋め込み次元に沿って結合された意味をキャプチャする手法を提案する。 畳み込み操作の計算効率から恩恵を受ける、エンリッチな単語埋め込みに適用された畳み込み畳み込みは、軽量で強力なエンコーダをもたらす(InceptionXML)。
  論文  参考訳（メタデータ） (2021-09-13T18:55:37Z)
• More Than Words: Collocation Tokenization for Latent Dirichlet Allocation Models [71.42030830910227]
  モデルが異なる環境でクラスタリングの品質を測定するための新しい指標を提案する。 マージトークンでトレーニングされたトピックは、マージされていないモデルよりも、より明確で、一貫性があり、トピックを区別する効果が高いトピックキーをもたらすことを示す。
  論文  参考訳（メタデータ） (2021-08-24T14:08:19Z)
• Semantic-Preserving Adversarial Text Attacks [85.32186121859321]
  深層モデルの脆弱性を調べるために, Bigram と Unigram を用いた適応的セマンティック保存最適化法 (BU-SPO) を提案する。 提案手法は,既存手法と比較して最小の単語数を変更することで,攻撃成功率とセマンティックス率を最大化する。
  論文  参考訳（メタデータ） (2021-08-23T09:05:18Z)
• Charformer: Fast Character Transformers via Gradient-based Subword Tokenization [50.16128796194463]
  モデルの一部としてサブワードトークン化をエンドツーエンドに学習する新しいモデル帰納バイアスを提案する。 文字から潜在単語表現を自動的に学習する,ソフトグラデーションベースのサブワードトークンモジュール(GBST)を導入する。 また、GBSTを統合し、バイトレベルで動作する深層トランスフォーマーモデルであるCharformerを紹介する。
  論文  参考訳（メタデータ） (2021-06-23T22:24:14Z)
• Distributed Word Representation in Tsetlin Machine [14.62945824459286]
  Tsetlin Machine (TM) は命題論理に基づく解釈可能なパターン認識アルゴリズムである。 tmに事前学習した単語表現を用いる新しい手法を提案する。 このアプローチはTM性能を大幅に向上させ、同時に解釈性を維持します。
  論文  参考訳（メタデータ） (2021-04-14T14:48:41Z)
• Multilingual Autoregressive Entity Linking [49.35994386221958]
  mGENREはMultilingual Entity Linking問題のためのシーケンス対シーケンスシステムである。 与えられた言語で言及すると、mGENREはターゲットエンティティの名前を左から右へ、トークンごとに予測します。 提案手法の有効性を3つのMELベンチマーク実験を含む広範囲な評価により示す。
  論文  参考訳（メタデータ） (2021-03-23T13:25:55Z)
• R$^2$-Net: Relation of Relation Learning Network for Sentence Semantic Matching [58.72111690643359]
  文意味マッチングのための関係学習ネットワーク(R2-Net)を提案する。 最初にBERTを使用して、グローバルな視点から入力文をエンコードします。 次に、cnnベースのエンコーダは、ローカルな視点からキーワードやフレーズ情報をキャプチャするように設計されている。 関係情報抽出にラベルを十分に活用するために,関係分類タスクの自己教師付き関係性を導入する。
  論文  参考訳（メタデータ） (2020-12-16T13:11:30Z)
• Improving accuracy of rare words for RNN-Transducer through unigram shallow fusion [9.071295269523068]
  RNN-Tの稀な単語を改善するために,単グラム浅層核融合(USF)を提案する。 本手法は, 一般的なテストセットの劣化を伴わずに, 稀な単語の3.7%のWER比で性能を向上できることを示す。
  論文  参考訳（メタデータ） (2020-11-30T22:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。