論文の概要: Computationally Efficient NER Taggers with Combined Embeddings and Constrained Decoding

• arxiv url: http://arxiv.org/abs/2001.01167v2
• Date: Wed, 24 Mar 2021 16:21:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-14 07:51:24.524178
• Title: Computationally Efficient NER Taggers with Combined Embeddings and Constrained Decoding
• Title（参考訳）: 埋め込みと制約付きデコードを組み合わせた計算効率の良いNERタガー
• Authors: Brian Lester, Daniel Pressel, Amy Hemmeter, and Sagnik Ray Choudhury
• Abstract要約: 名前付きエンティティ認識(NER)における現在の最先端モデルは、最終ネットワーク層として条件ランダムフィールド(CRF)を備えたニューラルモデルであり、事前訓練された「コンテキスト埋め込み」である。 本研究では,NERの性能を大幅に向上させる2つの簡単な手法について検討する。 2003年のCoNLLでタグをトレーニングしている間、強いパフォーマンスを犠牲にすることなく、コンテキスト埋め込みベースのタグよりも786$%のスピードアップが得られました。
• 参考スコア（独自算出の注目度）: 10.643105866460978
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current State-of-the-Art models in Named Entity Recognition (NER) are neural models with a Conditional Random Field (CRF) as the final network layer, and pre-trained "contextual embeddings". The CRF layer is used to facilitate global coherence between labels, and the contextual embeddings provide a better representation of words in context. However, both of these improvements come at a high computational cost. In this work, we explore two simple techniques that substantially improve NER performance over a strong baseline with negligible cost. First, we use multiple pre-trained embeddings as word representations via concatenation. Second, we constrain the tagger, trained using a cross-entropy loss, during decoding to eliminate illegal transitions. While training a tagger on CoNLL 2003 we find a $786$\% speed-up over a contextual embeddings-based tagger without sacrificing strong performance. We also show that the concatenation technique works across multiple tasks and datasets. We analyze aspects of similarity and coverage between pre-trained embeddings and the dynamics of tag co-occurrence to explain why these techniques work. We provide an open source implementation of our tagger using these techniques in three popular deep learning frameworks --- TensorFlow, Pytorch, and DyNet.
• Abstract（参考訳）: 名前付きエンティティ認識(NER)における現在の最先端モデルは、最終ネットワーク層として条件ランダムフィールド(CRF)を備えたニューラルモデルであり、事前訓練された"コンテキスト埋め込み"である。 CRF層はラベル間のグローバルコヒーレンスを促進するために使用され、文脈埋め込みは文脈における単語の表現をより良くする。 しかし、これらの改善はどちらも計算コストが高い。 本研究では,NERの性能を大幅に向上させる2つの簡単な手法について検討する。 まず,複数の事前学習した埋め込みを結合による単語表現として利用する。 第二に、不正な遷移を排除するためにデコード中にクロスエントロピー損失を用いて訓練されたタグを拘束する。 conll 2003でタガーをトレーニングしている間、強力なパフォーマンスを犠牲にすることなく、コンテキスト埋め込みベースのタガーよりも786$\%のスピードアップが得られます。 また、結合技術は複数のタスクやデータセットにまたがって機能することを示す。 我々は,事前学習された組込みとタグ共起のダイナミクスとの類似性とカバレッジの側面を分析し,これらのテクニックが機能する理由を説明する。 これらのテクニックを、TensorFlow、Pytorch、DyNetという3つの人気のあるディープラーニングフレームワークで使用しています。

関連論文リスト

• Let Me DeCode You: Decoder Conditioning with Tabular Data [0.15487122608774898]
  本稿では,ラベルから派生した特徴をモデル条件付けに利用し,デコーダを動的にリコンストラクションするDeCodeを提案する。 DeCodeは3次元ラベル形状特徴の学習数値表現による条件付埋め込みの導入による3次元セグメンテーション性能の向上に重点を置いている。 以上の結果から,DeCode は従来の非条件モデルよりも高い性能を示し,計算コストの低減による精度の向上を実現している。
  論文  参考訳（メタデータ） (2024-07-12T17:14:33Z)
• Bit Cipher -- A Simple yet Powerful Word Representation System that Integrates Efficiently with Language Models [4.807347156077897]
  Bit-cipherは、バックプロパゲーションや超高効率次元減少技術の必要性を排除したワード表現システムである。 我々は、古典的な埋め込みによるビット暗号の競合性を評価するために、POSタグと名前付きエンティティ認識(NER)の探索実験を行った。 埋め込み層を暗号埋め込みに置き換えることで、トレーニングプロセスの高速化と最適な最適化を実現する上での暗号の顕著な効率を実証した。
  論文  参考訳（メタデータ） (2023-11-18T08:47:35Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Optimizing Bi-Encoder for Named Entity Recognition via Contrastive Learning [80.36076044023581]
  名前付きエンティティ認識(NER)のための効率的なバイエンコーダフレームワークを提案する。 我々はNERを、エンティティ参照のベクトル表現とその型との類似性を最大化する計量学習問題とみなす。 NERのこのバイエンコーダの定式化における大きな課題は、エンティティの言及から非エンゲージスを分離することにある。
  論文  参考訳（メタデータ） (2022-08-30T23:19:04Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Bandit Sampling for Multiplex Networks [8.771092194928674]
  多数のレイヤを持つ多重ネットワーク上でのスケーラブルな学習アルゴリズムを提案する。 オンライン学習アルゴリズムは、トレーニング中に関連する情報を持つレイヤのみを集約するように、関連する隣のレイヤをサンプリングする方法を学ぶ。 合成シナリオと実世界のシナリオの両方に関する実験結果を示す。
  論文  参考訳（メタデータ） (2022-02-08T03:26:34Z)
• Defensive Tensorization [113.96183766922393]
  本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。 我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。 我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
  論文  参考訳（メタデータ） (2021-10-26T17:00:16Z)
• ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
  本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。 以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
  論文  参考訳（メタデータ） (2021-10-11T14:45:00Z)
• Constrained Decoding for Computationally Efficient Named Entity Recognition Taggers [15.279850826041066]
  現在の研究は、スパン符号化方式がどのように機能するかについての事前知識を導き、遷移が違法であり、グローバルコヒーレンスを促進することができない条件付きランダムフィールド(CRF)学習に依存している。 不正な遷移を抑制するために出力を制限することにより、統計的に重要でないF1の違いでCRFの2倍の速度で、クロスエントロピー損失のタガーを訓練できることがわかった。
  論文  参考訳（メタデータ） (2020-10-09T04:07:52Z)
• Multiple Word Embeddings for Increased Diversity of Representation [15.279850826041066]
  本稿では,実行時間の増加を無視できるような,強いベースライン上での性能を実質的に一貫的に向上させる手法を示す。 我々は、事前学習した埋め込み類似性と語彙被覆の側面を分析し、表現多様性がなぜこの技術が機能するかの原動力であることを見出した。
  論文  参考訳（メタデータ） (2020-09-30T02:33:09Z)
• Text Classification with Few Examples using Controlled Generalization [58.971750512415134]
  現在の実践は、トレーニング中に見えない単語を、類似した単語とマッピングするために、事前訓練された単語埋め込みに依存している。 私たちの代替案は、未ラベルのパースコーパスから派生したスパース事前訓練された表現から始まります。 これらのベクトル上のフィードフォワードネットワークは、特に低データシナリオにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2020-05-18T06:04:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。