論文の概要: Constrained Decoding for Computationally Efficient Named Entity Recognition Taggers

• arxiv url: http://arxiv.org/abs/2010.04362v1
• Date: Fri, 9 Oct 2020 04:07:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 05:24:21.055391
• Title: Constrained Decoding for Computationally Efficient Named Entity Recognition Taggers
• Title（参考訳）: 計算効率の良い名前付きエンティティ認識タグのための制約付きデコーディング
• Authors: Brian Lester, Daniel Pressel, Amy Hemmeter, Sagnik Ray Choudhury, Srinivas Bangalore
• Abstract要約: 現在の研究は、スパン符号化方式がどのように機能するかについての事前知識を導き、遷移が違法であり、グローバルコヒーレンスを促進することができない条件付きランダムフィールド(CRF)学習に依存している。 不正な遷移を抑制するために出力を制限することにより、統計的に重要でないF1の違いでCRFの2倍の速度で、クロスエントロピー損失のタガーを訓練できることがわかった。
• 参考スコア（独自算出の注目度）: 15.279850826041066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current state-of-the-art models for named entity recognition (NER) are neural models with a conditional random field (CRF) as the final layer. Entities are represented as per-token labels with a special structure in order to decode them into spans. Current work eschews prior knowledge of how the span encoding scheme works and relies on the CRF learning which transitions are illegal and which are not to facilitate global coherence. We find that by constraining the output to suppress illegal transitions we can train a tagger with a cross-entropy loss twice as fast as a CRF with differences in F1 that are statistically insignificant, effectively eliminating the need for a CRF. We analyze the dynamics of tag co-occurrence to explain when these constraints are most effective and provide open source implementations of our tagger in both PyTorch and TensorFlow.
• Abstract（参考訳）: 名前付きエンティティ認識(ner)の現在の最先端モデルは、条件付きランダムフィールド(crf)を最終層とするニューラルモデルである。 エンティティは、それらをスパンにデコードするために、特別な構造を持つトーケンラベルとして表現される。 現在の作業は、スパン符号化方式の仕組みに関する事前の知識を避け、どのトランジッションが違法で、どれがグローバルコヒーレンスを促進することができないcrf学習に依存している。 出力を制約して不正な遷移を抑制することで、統計的に重要でないF1の違いでCRFの2倍の速さでタグを訓練し、CRFの必要性を効果的に排除できることがわかった。 我々はタグ共起のダイナミクスを分析し、これらの制約がいつ最も効果的かを説明し、PyTorchとTensorFlowの両方でタグのオープンソース実装を提供する。

関連論文リスト

• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• A One-Layer Decoder-Only Transformer is a Two-Layer RNN: With an Application to Certified Robustness [17.0639534812572]
  ARC-Tranは、任意の摂動空間に対してデコーダのみの変換器の堅牢性を検証する新しい手法である。 本評価の結果,ARC-Tran 列車は既存の手法よりも任意の摂動空間に頑健なモデルであることがわかった。
  論文  参考訳（メタデータ） (2024-05-27T17:10:04Z)
• TFE-GNN: A Temporal Fusion Encoder Using Graph Neural Networks for Fine-grained Encrypted Traffic Classification [35.211600580761726]
  本稿では,PMI(point-wise mutual information)とテンポラルフュージョン(Temporal Fusion)というモデルに基づくバイトレベルのトラフィックグラフ構築手法を提案する。 特に,デュアル埋め込み層,GNNベースのトラヒックグラフエンコーダ,およびクロスゲート機能融合機構を設計する。 2つの実際のデータセットに対する実験結果から、TFE-GNNは、詳細な暗号化されたトラフィック分類タスクにおいて、最先端の複数の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-31T14:32:40Z)
• Sequence Transduction with Graph-based Supervision [96.04967815520193]
  ラベルのグラフ表現を受け入れるためにRNN-T損失を一般化するトランスデューサ目的関数を提案する。 CTC型格子を用いたトランスデューサベースのASRは,標準RNN-Tよりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-11-01T21:51:42Z)
• Learning with Noisy Labels via Sparse Regularization [76.31104997491695]
  ノイズの多いラベルで学習することは、正確なディープニューラルネットワークをトレーニングするための重要なタスクである。 クロスエントロピー(Cross Entropy, CE)など、一般的に使われている損失関数は、ノイズラベルへの過度なオーバーフィットに悩まされている。 我々は, スパース正規化戦略を導入し, ワンホット制約を近似する。
  論文  参考訳（メタデータ） (2021-07-31T09:40:23Z)
• Constraining Linear-chain CRFs to Regular Languages [10.759863489447204]
  構造化予測における大きな課題は、出力構造内の相互依存を表現することである。 我々は、非局所的な制約を含む幅広い制約を強制できるCRFの一般化を提案する。 制約付きトレーニングは、制約付き復号化よりも決して悪くないことを実証し、実際は大幅に改善できることを実証的に示す。
  論文  参考訳（メタデータ） (2021-06-14T11:23:59Z)
• WNARS: WFST based Non-autoregressive Streaming End-to-End Speech Recognition [59.975078145303605]
  本稿では,ハイブリッドCTC-attention AEDモデルと重み付き有限状態トランスデューサを用いた新しいフレームワークWNARSを提案する。 AISHELL-1タスクでは、640msの遅延で5.22%の文字エラー率を達成し、オンラインASRの最先端のパフォーマンスである私たちの知識を最大限に活用します。
  論文  参考訳（メタデータ） (2021-04-08T07:56:03Z)
• On the Equivalence of Decoupled Graph Convolution Network and Label Propagation [60.34028546202372]
  いくつかの研究は、カップリングがデカップリングよりも劣っていることを示している。 有効性にもかかわらず、疎結合GCNの作用機構はよく理解されていない。 本稿では,分離GCNの欠陥を克服する適応的学習法(PTA)を提案する。
  論文  参考訳（メタデータ） (2020-10-23T13:57:39Z)
• Fast and Accurate Neural CRF Constituency Parsing [16.90190521285297]
  この研究は、高速で正確なCRF行列計算を示す。 我々は、GPU上の大きなテンソル演算による損失に対する内部アルゴリズムをバッチ化し、効率的なバックプロパゲーションによる計算の外部アルゴリズムを避ける。 PTB, CTB5.1, CTB7の2段CRFは, w/o と w/BERT の両設定において,新しい最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2020-08-09T14:38:48Z)
• Attentive WaveBlock: Complementarity-enhanced Mutual Networks for Unsupervised Domain Adaptation in Person Re-identification and Beyond [97.25179345878443]
  本稿では,新しい軽量モジュールであるAttentive WaveBlock (AWB)を提案する。 AWBは相互学習の二重ネットワークに統合され、相互学習の相補性を高め、擬似ラベルのノイズをさらに抑えることができる。 実験により, 提案手法は, 複数のUDA人物再識別タスクを大幅に改善し, 最先端の性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2020-06-11T15:40:40Z)
• Computationally Efficient NER Taggers with Combined Embeddings and Constrained Decoding [10.643105866460978]
  名前付きエンティティ認識(NER)における現在の最先端モデルは、最終ネットワーク層として条件ランダムフィールド(CRF)を備えたニューラルモデルであり、事前訓練された「コンテキスト埋め込み」である。 本研究では,NERの性能を大幅に向上させる2つの簡単な手法について検討する。 2003年のCoNLLでタグをトレーニングしている間、強いパフォーマンスを犠牲にすることなく、コンテキスト埋め込みベースのタグよりも786$%のスピードアップが得られました。
  論文  参考訳（メタデータ） (2020-01-05T04:50:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。