論文の概要: Incorporating Class-based Language Model for Named Entity Recognition in
Factorized Neural Transducer
- arxiv url: http://arxiv.org/abs/2309.07648v1
- Date: Thu, 14 Sep 2023 12:14:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-15 15:06:00.045604
- Title: Incorporating Class-based Language Model for Named Entity Recognition in
Factorized Neural Transducer
- Title(参考訳): 因子化ニューラルトランスデューサにおける名前付きエンティティ認識のためのクラスベース言語モデルの導入
- Authors: Peng Wang, Yifan Yang, Zheng Liang, Tian Tan, Shiliang Zhang, Xie Chen
- Abstract要約: C-FNTと呼ばれるクラスベースのLMをFNTに組み込む新しいE2Eモデルを提案する。
C-FNTでは、名前付きエンティティの言語モデルスコアは、その表面形式の代わりに名前クラスに関連付けることができる。
- 参考スコア(独自算出の注目度): 53.58792415126816
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In spite of the excellent strides made by end-to-end (E2E) models in speech
recognition in recent years, named entity recognition is still challenging but
critical for semantic understanding. In order to enhance the ability to
recognize named entities in E2E models, previous studies mainly focus on
various rule-based or attention-based contextual biasing algorithms. However,
their performance might be sensitive to the biasing weight or degraded by
excessive attention to the named entity list, along with a risk of false
triggering. Inspired by the success of the class-based language model (LM) in
named entity recognition in conventional hybrid systems and the effective
decoupling of acoustic and linguistic information in the factorized neural
Transducer (FNT), we propose a novel E2E model to incorporate class-based LMs
into FNT, which is referred as C-FNT. In C-FNT, the language model score of
named entities can be associated with the name class instead of its surface
form. The experimental results show that our proposed C-FNT presents
significant error reduction in named entities without hurting performance in
general word recognition.
- Abstract(参考訳): 近年の音声認識におけるエンド・ツー・エンド(E2E)モデルによる優れた進歩にもかかわらず、名前付きエンティティ認識は依然として難しいが意味理解には不可欠である。
e2eモデルで名前付きエンティティを認識する能力を高めるために、これまでの研究は主に様々なルールベースまたは注意に基づくコンテキストバイアスアルゴリズムに焦点を当てている。
しかし、それらのパフォーマンスは偏りの重みに敏感で、または名前のエンティティリストへの過度な注意によって劣化し、誤ったトリガーのリスクがある。
従来のハイブリッドシステムにおける名前付きエンティティ認識におけるクラスベース言語モデル (LM) の成功と、分解型ニューラルトランスデューサ (FNT) における音響情報と言語情報の効果的な分離に着想を得て、クラスベースのLMをFNTに組み込む新しいE2Eモデルを提案する。
C-FNTでは、名前付きエンティティの言語モデルスコアは、その表面形式の代わりに名前クラスに関連付けることができる。
実験の結果,提案したC-FNTは,単語認識の性能を損なうことなく,名前付きエンティティの誤りを著しく低減できることがわかった。
関連論文リスト
- On Significance of Subword tokenization for Low Resource and Efficient
Named Entity Recognition: A case study in Marathi [1.6383036433216434]
低リソース言語のためのNERに焦点をあて、インド語Marathiの文脈におけるケーススタディを示す。
BERTベースのサブワードトークン化器をバニラCNN/LSTMモデルに統合することで,効率的なNERのためのハイブリッド手法を提案する。
従来の単語ベースのトークン化器をBERTトークン化器に置き換えるという単純なアプローチは,バニラ単層モデルの精度をBERTのような深層事前学習モデルの精度に近づけることを示す。
論文 参考訳(メタデータ) (2023-12-03T06:53:53Z) - Informed Named Entity Recognition Decoding for Generative Language
Models [3.5323691899538128]
Informed Named Entity Recognition Decoding (iNERD) を提案する。
8つの名前付きエンティティ認識データセット上で5つの生成言語モデルを評価し、優れた結果を得るため、統合されたエンティティコーパス上でモデルを粗いチューニングを行い、その性能を向上させる。
論文 参考訳(メタデータ) (2023-08-15T14:16:29Z) - Joint Speech Translation and Named Entity Recognition [17.305879157385675]
重要なタスクは、上記のエンティティに関する情報で出力を豊かにすることです。
本稿では,名前付きエンティティ認識(NER)とエンティティリンクシステムとを併用したマルチタスクモデルを提案する。
実験の結果,NERタスクのカスケード(0.4-1.0 F1)は翻訳品質の劣化を伴わずに有意に優れていた。
論文 参考訳(メタデータ) (2022-10-21T14:24:46Z) - WCL-BBCD: A Contrastive Learning and Knowledge Graph Approach to Named
Entity Recognition [15.446770390648874]
WCL-BBCD (Word Contrastive Learning with BERT-BiLSTM-CRF-DBpedia)を提案する。
モデルはまずテキスト中の文ペアを訓練し、コサイン類似性により文ペア内の単語間の類似度を計算し、その類似性を通じて名前付きエンティティ認識タスクに使用されるBERTモデルを微調整する。
最後に、単語短縮による認識を緩和するため、認識結果を知識グラフなどの事前知識と組み合わせて補正する。
論文 参考訳(メタデータ) (2022-03-14T08:29:58Z) - The Overlooked Classifier in Human-Object Interaction Recognition [82.20671129356037]
クラス間の意味的相関を分類ヘッドにエンコードし,重みをHOIの言語埋め込みで初期化する。
我々は,LSE-Sign という新しい損失を,長い尾を持つデータセット上でのマルチラベル学習を強化するために提案する。
我々は,物体検出と人間のポーズを明確なマージンで求める最先端技術よりも優れた,検出不要なHOI分類を可能にする。
論文 参考訳(メタデータ) (2022-03-10T23:35:00Z) - Distantly-Supervised Named Entity Recognition with Noise-Robust Learning
and Language Model Augmented Self-Training [66.80558875393565]
遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。
本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。
提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
論文 参考訳(メタデータ) (2021-09-10T17:19:56Z) - Discriminatively-Tuned Generative Classifiers for Robust Natural
Language Inference [59.62779187457773]
自然言語推論のための生成型分類器(NLI)を提案する。
差別モデルやBERTのような大規模事前学習言語表現モデルを含む5つのベースラインと比較する。
実験の結果、GenNLIはいくつかの挑戦的なNLI実験環境において差別的ベースラインと事前訓練ベースラインの両方に優れていた。
論文 参考訳(メタデータ) (2020-10-08T04:44:00Z) - Soft Gazetteers for Low-Resource Named Entity Recognition [78.00856159473393]
本稿では、英語知識ベースからユビキタスに利用可能な情報をニューラル名付きエンティティ認識モデルに組み込む「ソフトガゼッタ」を提案する。
4つの低リソース言語に対する実験により,F1得点の4点の平均的改善が示された。
論文 参考訳(メタデータ) (2020-05-04T21:58:02Z) - Interpretability Analysis for Named Entity Recognition to Understand
System Predictions and How They Can Improve [49.878051587667244]
名前付きエンティティ認識のためのLSTM-CRFアーキテクチャの性能について検討する。
文脈表現はシステムの性能に寄与するが、ハイパフォーマンスを駆動する主な要因は、名前トークン自体を学習することにある。
我々は、コンテキストのみからエンティティタイプを推測する可能性を評価するために、人間アノテーションを登録し、コンテキストのみのシステムによるエラーの大部分に対してエンティティタイプを推論することはできないが、改善の余地はいくつかある。
論文 参考訳(メタデータ) (2020-04-09T14:37:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。