論文の概要: Incorporating Class-based Language Model for Named Entity Recognition in Factorized Neural Transducer

• arxiv url: http://arxiv.org/abs/2309.07648v2
• Date: Sat, 8 Jun 2024 13:08:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 05:19:21.051531
• Title: Incorporating Class-based Language Model for Named Entity Recognition in Factorized Neural Transducer
• Title（参考訳）: 因子化ニューラルトランスデューサにおける名前付きエンティティ認識のためのクラスベース言語モデルの導入
• Authors: Peng Wang, Yifan Yang, Zheng Liang, Tian Tan, Shiliang Zhang, Xie Chen,
• Abstract要約: クラスベースのLMをFNTに組み込んだ新しいE2EモデルであるC-FNTを提案する。 C-FNTでは、名前付きエンティティのLMスコアは、その表面形式の代わりに名前クラスに関連付けることができる。 実験の結果,提案したC-FNTは,単語認識の性能を損なうことなく,名前付きエンティティの誤りを著しく低減することがわかった。
• 参考スコア（独自算出の注目度）: 50.572974726351504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite advancements of end-to-end (E2E) models in speech recognition, named entity recognition (NER) is still challenging but critical for semantic understanding. Previous studies mainly focus on various rule-based or attention-based contextual biasing algorithms. However, their performance might be sensitive to the biasing weight or degraded by excessive attention to the named entity list, along with a risk of false triggering. Inspired by the success of the class-based language model (LM) in NER in conventional hybrid systems and the effective decoupling of acoustic and linguistic information in the factorized neural Transducer (FNT), we propose C-FNT, a novel E2E model that incorporates class-based LMs into FNT. In C-FNT, the LM score of named entities can be associated with the name class instead of its surface form. The experimental results show that our proposed C-FNT significantly reduces error in named entities without hurting performance in general word recognition.
• Abstract（参考訳）: 音声認識におけるエンド・ツー・エンド(E2E)モデルの進歩にもかかわらず、名前付きエンティティ認識(NER)は依然として難しいが意味理解には不可欠である。 これまでの研究は主に、ルールに基づく、あるいは注意に基づくコンテキストバイアスアルゴリズムに焦点をあててきた。 しかし、その性能は偏りの重みに敏感な場合や、名前のエンティティリストへの過度な注意による劣化や、誤ったトリガーのリスクに敏感である。 従来のハイブリッドシステムにおけるNERにおけるクラスベース言語モデル(LM)の成功と、分解型ニューラルトランスデューサ(FNT)における音響情報と言語情報の効果的な分離に着想を得て、クラスベースLMをFNTに組み込んだ新しいE2EモデルであるC-FNTを提案する。 C-FNTでは、名前付きエンティティのLMスコアは、その表面形式の代わりに名前クラスに関連付けることができる。 実験の結果,提案したC-FNTは,単語認識の性能を損なうことなく,名前付きエンティティの誤りを著しく低減することがわかった。

関連論文リスト

• On Significance of Subword tokenization for Low Resource and Efficient Named Entity Recognition: A case study in Marathi [1.6383036433216434]
  低リソース言語のためのNERに焦点をあて、インド語Marathiの文脈におけるケーススタディを示す。 BERTベースのサブワードトークン化器をバニラCNN/LSTMモデルに統合することで,効率的なNERのためのハイブリッド手法を提案する。 従来の単語ベースのトークン化器をBERTトークン化器に置き換えるという単純なアプローチは,バニラ単層モデルの精度をBERTのような深層事前学習モデルの精度に近づけることを示す。
  論文  参考訳（メタデータ） (2023-12-03T06:53:53Z)
• Generative error correction for code-switching speech recognition using large language models [49.06203730433107]
  コードスイッチング(英: Code-switching, CS)とは、2つ以上の言語が同じ文内に混在する現象である。 本稿では,大規模言語モデル (LLM) と ASR が生成する仮説のリストを利用して,CS 問題に対処することを提案する。
  論文  参考訳（メタデータ） (2023-10-17T14:49:48Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• Joint Speech Translation and Named Entity Recognition [17.305879157385675]
  重要なタスクは、上記のエンティティに関する情報で出力を豊かにすることです。 本稿では,名前付きエンティティ認識(NER)とエンティティリンクシステムとを併用したマルチタスクモデルを提案する。 実験の結果,NERタスクのカスケード(0.4-1.0 F1)は翻訳品質の劣化を伴わずに有意に優れていた。
  論文  参考訳（メタデータ） (2022-10-21T14:24:46Z)
• WCL-BBCD: A Contrastive Learning and Knowledge Graph Approach to Named Entity Recognition [15.446770390648874]
  WCL-BBCD (Word Contrastive Learning with BERT-BiLSTM-CRF-DBpedia)を提案する。 モデルはまずテキスト中の文ペアを訓練し、コサイン類似性により文ペア内の単語間の類似度を計算し、その類似性を通じて名前付きエンティティ認識タスクに使用されるBERTモデルを微調整する。 最後に、単語短縮による認識を緩和するため、認識結果を知識グラフなどの事前知識と組み合わせて補正する。
  論文  参考訳（メタデータ） (2022-03-14T08:29:58Z)
• Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training [66.80558875393565]
  遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。 本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。 提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-09-10T17:19:56Z)
• Discriminatively-Tuned Generative Classifiers for Robust Natural Language Inference [59.62779187457773]
  自然言語推論のための生成型分類器(NLI)を提案する。 差別モデルやBERTのような大規模事前学習言語表現モデルを含む5つのベースラインと比較する。 実験の結果、GenNLIはいくつかの挑戦的なNLI実験環境において差別的ベースラインと事前訓練ベースラインの両方に優れていた。
  論文  参考訳（メタデータ） (2020-10-08T04:44:00Z)
• An Evaluation of Recent Neural Sequence Tagging Models in Turkish Named Entity Recognition [5.161531917413708]
  本研究では,条件付きランダムフィールド層を有する変圧器ベースネットワークを提案する。 本研究は,移動学習が形態的に豊かな言語処理に与える影響を定量化する文献に寄与する。
  論文  参考訳（メタデータ） (2020-05-14T06:54:07Z)
• Interpretability Analysis for Named Entity Recognition to Understand System Predictions and How They Can Improve [49.878051587667244]
  名前付きエンティティ認識のためのLSTM-CRFアーキテクチャの性能について検討する。 文脈表現はシステムの性能に寄与するが、ハイパフォーマンスを駆動する主な要因は、名前トークン自体を学習することにある。 我々は、コンテキストのみからエンティティタイプを推測する可能性を評価するために、人間アノテーションを登録し、コンテキストのみのシステムによるエラーの大部分に対してエンティティタイプを推論することはできないが、改善の余地はいくつかある。
  論文  参考訳（メタデータ） (2020-04-09T14:37:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。