論文の概要: RNN Transducers for Nested Named Entity Recognition with constraints on alignment for long sequences

• arxiv url: http://arxiv.org/abs/2203.03543v1
• Date: Tue, 8 Feb 2022 05:38:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-13 14:00:40.236829
• Title: RNN Transducers for Nested Named Entity Recognition with constraints on alignment for long sequences
• Title（参考訳）: 長いシーケンスのアライメントに制約のあるNested Named Entity RecognitionのためのRNNトランスデューサ
• Authors: Hagen Soltau, Izhak Shafran, Mingqiu Wang and Laurent El Shafey
• Abstract要約: 我々は、NERタスクのための新しいモデル、トランスデューサ(RNN-T)を導入する。 RNN-Tモデルは、すべてのアライメントを合計するロス関数を用いてアライメントを学習する。 しかし、NERタスクでは、アノテーションから単語とターゲットラベルのアライメントが利用可能である。 固定アライメントモデルが標準RNNスコアモデルより優れていることを示す。
• 参考スコア（独自算出の注目度）: 4.545971444299925
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Popular solutions to Named Entity Recognition (NER) include conditional random fields, sequence-to-sequence models, or utilizing the question-answering framework. However, they are not suitable for nested and overlapping spans with large ontologies and for predicting the position of the entities. To fill this gap, we introduce a new model for NER task -- an RNN transducer (RNN-T). These models are trained using paired input and output sequences without explicitly specifying the alignment between them, similar to other seq-to-seq models. RNN-T models learn the alignment using a loss function that sums over all alignments. In NER tasks, however, the alignment between words and target labels are available from the human annotations. We propose a fixed alignment RNN-T model that utilizes the given alignment, while preserving the benefits of RNN-Ts such as modeling output dependencies. As a more general case, we also propose a constrained alignment model where users can specify a relaxation of the given input alignment and the model will learn an alignment within the given constraints. In other words, we propose a family of seq-to-seq models which can leverage alignments between input and target sequences when available. Through empirical experiments on a challenging real-world medical NER task with multiple nested ontologies, we demonstrate that our fixed alignment model outperforms the standard RNN-T model, improving F1-score from 0.70 to 0.74.
• Abstract（参考訳）: Named Entity Recognition (NER) の一般的なソリューションには、条件付きランダムフィールド、シーケンス対シーケンスモデル、質問応答フレームワークの利用などがある。 しかし、それらは大きなオントロジーを持つネストと重なり合うスパンや、実体の位置を予測するには適していない。 このギャップを埋めるために、NERタスク(RNNトランスデューサ(RNN-T))の新しいモデルを導入する。 これらのモデルは、他のSeq-to-seqモデルと同様、ペア化された入力シーケンスと出力シーケンスを使用してトレーニングされる。 RNN-Tモデルは、すべてのアライメントを合計するロス関数を用いてアライメントを学習する。 しかし、NERタスクでは、人間のアノテーションから単語とターゲットラベルのアライメントが利用可能である。 出力依存性のモデル化などのRNN-Tの利点を保ちつつ,所定のアライメントを利用する固定アライメントRNN-Tモデルを提案する。 より一般的な例として、ユーザが与えられた入力アライメントの緩和を指定でき、モデルが与えられた制約内でアライメントを学習する制約付きアライメントモデルを提案する。 言い換えれば、入力シーケンスとターゲットシーケンスのアライメントを利用できるSeq-to-seqモデルのファミリーを提案する。 複数のネストオントロジーを持つ実世界の医療NERタスクの実証実験を通じて、我々の固定アライメントモデルが標準RNN-Tモデルより優れ、F1スコアが0.70から0.74に向上したことを示す。

関連論文リスト

• CoRMF: Criticality-Ordered Recurrent Mean Field Ising Solver [4.364088891019632]
  我々は、RNNに基づく効率的なIsingモデル解法、Criticality-ordered Recurrent Mean Field (CoRMF)を提案する。 基礎となるIsingグラフの近似木構造を利用することで、新しく得られた臨界度順序は、変動平均場とRNNの統一を可能にする。 CoRFMはデータ/証拠のない自己学習方式でIsing問題を解き、RNNから直接サンプリングすることで推論タスクを実行することができる。
  論文  参考訳（メタデータ） (2024-03-05T16:55:06Z)
• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)
• Enhancing Few-shot NER with Prompt Ordering based Data Augmentation [59.69108119752584]
  本稿では,PODA(Prompt Ordering Based Data Augmentation)手法を提案する。 3つのパブリックNERデータセットの実験結果とさらなる分析により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-19T16:25:43Z)
• CGXplain: Rule-Based Deep Neural Network Explanations Using Dual Linear Programs [4.632241550169363]
  ルールベースサロゲートモデルは、ディープニューラルネットワーク(DNN)決定境界を近似する有効な方法である。 本稿では,これらの制約に対処するCGX(Column Generation eXplainer)を提案する。
  論文  参考訳（メタデータ） (2023-04-11T13:16:26Z)
• Adaptive Discounting of Implicit Language Models in RNN-Transducers [33.63456351411599]
  RNN-Tアーキテクチャでは,軽量適応型LMディスカウント技術が利用できることを示す。 WERとレアワードPERの最大4%と14%の相対的削減を,会話型,コード混在型のHindi- English ASRタスクで達成した。
  論文  参考訳（メタデータ） (2022-02-21T08:44:56Z)
• Sequence Transduction with Graph-based Supervision [96.04967815520193]
  ラベルのグラフ表現を受け入れるためにRNN-T損失を一般化するトランスデューサ目的関数を提案する。 CTC型格子を用いたトランスデューサベースのASRは,標準RNN-Tよりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-11-01T21:51:42Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Robust Question Answering Through Sub-part Alignment [53.94003466761305]
  我々はアライメント問題として質問応答をモデル化する。 私たちは、SQuAD v1.1でモデルをトレーニングし、いくつかの逆および外ドメインデータセットでそれをテストします。
  論文  参考訳（メタデータ） (2020-04-30T09:10:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。