論文の概要: External Language Model Integration for Factorized Neural Transducers
- arxiv url: http://arxiv.org/abs/2305.17304v1
- Date: Fri, 26 May 2023 23:30:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 20:34:00.720824
- Title: External Language Model Integration for Factorized Neural Transducers
- Title（参考訳）: 因子化ニューラルトランスデューサのための外部言語モデル統合
- Authors: Michael Levit, Sarangarajan Parthasarathy, Cem Aksoylar, Mohammad
Sadegh Rasooli, Shuangyu Chang
- Abstract要約: 外部言語モデルを用いた因子化ニューラルトランスデューサ(FNT)の適応法を提案する。
その結果, 各シナリオにおける語彙順応と, 1つのエンティティリッチシナリオにおける最大60%のWERRの加算ゲインで平均18%のWERRが得られた。
- 参考スコア（独自算出の注目度）: 7.5969913968845155
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose an adaptation method for factorized neural transducers (FNT) with
external language models. We demonstrate that both neural and n-gram external
LMs add significantly more value when linearly interpolated with predictor
output compared to shallow fusion, thus confirming that FNT forces the
predictor to act like regular language models. Further, we propose a method to
integrate class-based n-gram language models into FNT framework resulting in
accuracy gains similar to a hybrid setup. We show average gains of 18% WERR
with lexical adaptation across various scenarios and additive gains of up to
60% WERR in one entity-rich scenario through a combination of class-based
n-gram and neural LMs.
- Abstract（参考訳）: 外部言語モデルを用いた因子化ニューラルトランスデューサ(FNT)の適応法を提案する。
ニューラルネットワークとn-gram外部のLMは、浅い融合に比べて線形に予測子出力を補間した場合に有意に多くの値が付加されることを示し、FNTが予測子を正規言語モデルのように振舞うことを確認する。
さらに,クラスベースのn-gram言語モデルをFNTフレームワークに統合することで,ハイブリッドセットアップと同様の精度向上を実現する手法を提案する。
複数シナリオにまたがる語彙適応と1つのエンティティリッチシナリオにおける最大60% WERRの加算ゲインを,クラスベースn-gramとニューラルLMの組み合わせにより平均ゲイン18% WERRを示した。
関連論文リスト
- Effective internal language model training and fusion for factorized transducer model [26.371223360905557]
ニューラルトランスデューサの内部言語モデル(ILM)は広く研究されている。
因子化トランスデューサモデルのための新しいILMトレーニングと復号化戦略を提案する。
論文 参考訳（メタデータ） (2024-04-02T08:01:05Z) - In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。
我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
論文 参考訳（メタデータ） (2024-01-23T18:59:21Z) - Fast and accurate factorized neural transducer for text adaption of
end-to-end speech recognition models [23.21666928497697]
テキストのみの適応データに対するFNT(Facterized Neural Transducer)の適応性の向上は、標準のニューラルトランスデューサモデルと比較して精度の低下を招いた。
これらのアプローチを組み合わせることで、標準のFNTモデルから比較的単語エラー率を9.48%削減できる。
論文 参考訳（メタデータ） (2022-12-05T02:52:21Z) - Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。
本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
論文 参考訳（メタデータ） (2022-08-28T17:50:19Z) - Learning to Generalize to More: Continuous Semantic Augmentation for
Neural Machine Translation [50.54059385277964]
CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。
CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
論文 参考訳（メタデータ） (2022-04-14T08:16:28Z) - Dependency-based Mixture Language Models [53.152011258252315]
依存性に基づく混合言語モデルを紹介する。
より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。
次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
論文 参考訳（メタデータ） (2022-03-19T06:28:30Z) - Factorized Neural Transducer for Efficient Language Model Adaptation [51.81097243306204]
空白および語彙予測を分解し,ニューラルトランスデューサの因子化モデルを提案する。
この因子化は、音声認識のためのトランスデューサにスタンドアロン言語モデルの改善を移すことが期待できる。
提案した因子化ニューラルトランスデューサは、言語モデル適応にドメイン外テキストデータを使用する場合、15%から20%のWER改善が得られることを示す。
論文 参考訳（メタデータ） (2021-09-27T15:04:00Z) - Integrating Discrete and Neural Features via Mixed-feature
Trans-dimensional Random Field Language Models [19.409847780307445]
本稿では,混合機能TRF LMを開発し,離散的特徴とニューラル特徴を統合する上での利点を示す。
PTBとGoogleのワンビリオンワードデータセットを使って様々なLMをトレーニングし、音声認識のためのN-bestリスト再構成実験で評価する。
個別に訓練された2つのモデルと神経的特徴を補間するのと比較して、混合機能TRF LMの性能が最良である。
論文 参考訳（メタデータ） (2020-02-14T11:05:11Z) - Parameter Space Factorization for Zero-Shot Learning across Tasks and
Languages [112.65994041398481]
本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。
タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。
我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
論文 参考訳（メタデータ） (2020-01-30T16:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。