論文の概要: Computationally Efficient NER Taggers with Combined Embeddings and
Constrained Decoding
- arxiv url: http://arxiv.org/abs/2001.01167v2
- Date: Wed, 24 Mar 2021 16:21:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-14 07:51:24.524178
- Title: Computationally Efficient NER Taggers with Combined Embeddings and
Constrained Decoding
- Title(参考訳): 埋め込みと制約付きデコードを組み合わせた計算効率の良いNERタガー
- Authors: Brian Lester, Daniel Pressel, Amy Hemmeter, and Sagnik Ray Choudhury
- Abstract要約: 名前付きエンティティ認識(NER)における現在の最先端モデルは、最終ネットワーク層として条件ランダムフィールド(CRF)を備えたニューラルモデルであり、事前訓練された「コンテキスト埋め込み」である。
本研究では,NERの性能を大幅に向上させる2つの簡単な手法について検討する。
2003年のCoNLLでタグをトレーニングしている間、強いパフォーマンスを犠牲にすることなく、コンテキスト埋め込みベースのタグよりも786$%のスピードアップが得られました。
- 参考スコア(独自算出の注目度): 10.643105866460978
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current State-of-the-Art models in Named Entity Recognition (NER) are neural
models with a Conditional Random Field (CRF) as the final network layer, and
pre-trained "contextual embeddings". The CRF layer is used to facilitate global
coherence between labels, and the contextual embeddings provide a better
representation of words in context. However, both of these improvements come at
a high computational cost. In this work, we explore two simple techniques that
substantially improve NER performance over a strong baseline with negligible
cost. First, we use multiple pre-trained embeddings as word representations via
concatenation. Second, we constrain the tagger, trained using a cross-entropy
loss, during decoding to eliminate illegal transitions. While training a tagger
on CoNLL 2003 we find a $786$\% speed-up over a contextual embeddings-based
tagger without sacrificing strong performance. We also show that the
concatenation technique works across multiple tasks and datasets. We analyze
aspects of similarity and coverage between pre-trained embeddings and the
dynamics of tag co-occurrence to explain why these techniques work. We provide
an open source implementation of our tagger using these techniques in three
popular deep learning frameworks --- TensorFlow, Pytorch, and DyNet.
- Abstract(参考訳): 名前付きエンティティ認識(NER)における現在の最先端モデルは、最終ネットワーク層として条件ランダムフィールド(CRF)を備えたニューラルモデルであり、事前訓練された"コンテキスト埋め込み"である。
CRF層はラベル間のグローバルコヒーレンスを促進するために使用され、文脈埋め込みは文脈における単語の表現をより良くする。
しかし、これらの改善はどちらも計算コストが高い。
本研究では,NERの性能を大幅に向上させる2つの簡単な手法について検討する。
まず,複数の事前学習した埋め込みを結合による単語表現として利用する。
第二に、不正な遷移を排除するためにデコード中にクロスエントロピー損失を用いて訓練されたタグを拘束する。
conll 2003でタガーをトレーニングしている間、強力なパフォーマンスを犠牲にすることなく、コンテキスト埋め込みベースのタガーよりも786$\%のスピードアップが得られます。
また、結合技術は複数のタスクやデータセットにまたがって機能することを示す。
我々は,事前学習された組込みとタグ共起のダイナミクスとの類似性とカバレッジの側面を分析し,これらのテクニックが機能する理由を説明する。
これらのテクニックを、TensorFlow、Pytorch、DyNetという3つの人気のあるディープラーニングフレームワークで使用しています。
関連論文リスト
- Bit Cipher -- A Simple yet Powerful Word Representation System that
Integrates Efficiently with Language Models [4.807347156077897]
Bit-cipherは、バックプロパゲーションや超高効率次元減少技術の必要性を排除したワード表現システムである。
我々は、古典的な埋め込みによるビット暗号の競合性を評価するために、POSタグと名前付きエンティティ認識(NER)の探索実験を行った。
埋め込み層を暗号埋め込みに置き換えることで、トレーニングプロセスの高速化と最適な最適化を実現する上での暗号の顕著な効率を実証した。
論文 参考訳(メタデータ) (2023-11-18T08:47:35Z) - Extracting Text Representations for Terms and Phrases in Technical
Domains [9.27244202193623]
そこで本研究では,大容量の事前学習組込み行列を再構築する目的で,小文字モデルを用いたテキスト符号化手法を提案する。
このアプローチでトレーニングされたモデルは、技術領域における文エンコーダの品質に適合するだけでなく、5倍小さく、最大10倍高速である。
論文 参考訳(メタデータ) (2023-05-25T08:59:36Z) - Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。
我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。
彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文 参考訳(メタデータ) (2022-12-05T14:47:52Z) - Optimizing Bi-Encoder for Named Entity Recognition via Contrastive
Learning [80.36076044023581]
名前付きエンティティ認識(NER)のための効率的なバイエンコーダフレームワークを提案する。
我々はNERを、エンティティ参照のベクトル表現とその型との類似性を最大化する計量学習問題とみなす。
NERのこのバイエンコーダの定式化における大きな課題は、エンティティの言及から非エンゲージスを分離することにある。
論文 参考訳(メタデータ) (2022-08-30T23:19:04Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-13T15:39:43Z) - Bandit Sampling for Multiplex Networks [8.771092194928674]
多数のレイヤを持つ多重ネットワーク上でのスケーラブルな学習アルゴリズムを提案する。
オンライン学習アルゴリズムは、トレーニング中に関連する情報を持つレイヤのみを集約するように、関連する隣のレイヤをサンプリングする方法を学ぶ。
合成シナリオと実世界のシナリオの両方に関する実験結果を示す。
論文 参考訳(メタデータ) (2022-02-08T03:26:34Z) - Defensive Tensorization [113.96183766922393]
本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。
我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。
我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
論文 参考訳(メタデータ) (2021-10-26T17:00:16Z) - Contrastive Learning and Self-Training for Unsupervised Domain
Adaptation in Semantic Segmentation [71.77083272602525]
UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。
本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。
提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
論文 参考訳(メタデータ) (2021-05-05T11:55:53Z) - Constrained Decoding for Computationally Efficient Named Entity
Recognition Taggers [15.279850826041066]
現在の研究は、スパン符号化方式がどのように機能するかについての事前知識を導き、遷移が違法であり、グローバルコヒーレンスを促進することができない条件付きランダムフィールド(CRF)学習に依存している。
不正な遷移を抑制するために出力を制限することにより、統計的に重要でないF1の違いでCRFの2倍の速度で、クロスエントロピー損失のタガーを訓練できることがわかった。
論文 参考訳(メタデータ) (2020-10-09T04:07:52Z) - Multiple Word Embeddings for Increased Diversity of Representation [15.279850826041066]
本稿では,実行時間の増加を無視できるような,強いベースライン上での性能を実質的に一貫的に向上させる手法を示す。
我々は、事前学習した埋め込み類似性と語彙被覆の側面を分析し、表現多様性がなぜこの技術が機能するかの原動力であることを見出した。
論文 参考訳(メタデータ) (2020-09-30T02:33:09Z) - Text Classification with Few Examples using Controlled Generalization [58.971750512415134]
現在の実践は、トレーニング中に見えない単語を、類似した単語とマッピングするために、事前訓練された単語埋め込みに依存している。
私たちの代替案は、未ラベルのパースコーパスから派生したスパース事前訓練された表現から始まります。
これらのベクトル上のフィードフォワードネットワークは、特に低データシナリオにおいて有効であることを示す。
論文 参考訳(メタデータ) (2020-05-18T06:04:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。