論文の概要: LT-LM: a novel non-autoregressive language model for single-shot lattice rescoring

• arxiv url: http://arxiv.org/abs/2104.02526v1
• Date: Tue, 6 Apr 2021 14:06:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-07 14:18:25.027056
• Title: LT-LM: a novel non-autoregressive language model for single-shot lattice rescoring
• Title（参考訳）: LT-LM:シングルショット格子再構成のための新しい非自己回帰型言語モデル
• Authors: Anton Mitrofanov, Mariya Korenevskaya, Ivan Podluzhny, Yuri Khokhlov, Aleksandr Laptev, Andrei Andrusenko, Aleksei Ilin, Maxim Korenevsky, Ivan Medennikov, Aleksei Romanenko
• Abstract要約: 本稿では,格子全体をモデルへの単一呼び出しで処理する新しいリスコリング手法を提案する。 当社のリコリングポリシーの主な特徴は、新しい非回帰的格子変換言語モデル(LT-LM)です。
• 参考スコア（独自算出の注目度）: 55.16665077221941
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network-based language models are commonly used in rescoring approaches to improve the quality of modern automatic speech recognition (ASR) systems. Most of the existing methods are computationally expensive since they use autoregressive language models. We propose a novel rescoring approach, which processes the entire lattice in a single call to the model. The key feature of our rescoring policy is a novel non-autoregressive Lattice Transformer Language Model (LT-LM). This model takes the whole lattice as an input and predicts a new language score for each arc. Additionally, we propose the artificial lattices generation approach to incorporate a large amount of text data in the LT-LM training process. Our single-shot rescoring performs orders of magnitude faster than other rescoring methods in our experiments. It is more than 300 times faster than pruned RNNLM lattice rescoring and N-best rescoring while slightly inferior in terms of WER.
• Abstract（参考訳）: ニューラルネットワークに基づく言語モデルは、現代の自動音声認識(ASR)システムの品質を改善するために、一般的な方法で使用されている。 既存の手法の多くは自己回帰言語モデルを使用するため、計算コストがかかる。 本稿では,格子全体をモデルへの単一呼び出しで処理する新しいリスコリング手法を提案する。 我々のリスコリングポリシーの重要な特徴は、非自己回帰型格子変換言語モデル(LT-LM)である。 このモデルは格子全体を入力として、各弧に対する新しい言語スコアを予測する。 さらに,LT-LM学習プロセスに大量のテキストデータを組み込むための人工格子生成手法を提案する。 我々の単発リスコリングは、実験における他のリスコリング手法よりも桁違いに高速に行う。 RNNLM格子の微細化やNベストの微細化よりも300倍以上高速で、WERでは若干劣っている。

関連論文リスト

• ProSG: Using Prompt Synthetic Gradients to Alleviate Prompt Forgetting of RNN-like Language Models [0.0]
  本稿では,合成勾配による生成過程におけるモデル記憶プロンプトを記憶するアーキテクチャを提案する。 実験のためのデータセットを構築し,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-11-03T15:34:02Z)
• Extrapolating Multilingual Understanding Models as Multilingual Generators [82.1355802012414]
  本稿では,多言語理解モデルに統一モデルを得るための生成能力を付与する手法について検討する。 少数の新しいパラメータを持つ多言語ジェネレータにエンコーダを適用するために,textbfSemantic-textbfGuided textbfAlignment-then-Denoising (SGA)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:33:21Z)
• Replacing Language Model for Style Transfer [6.364517234783756]
  テキストスタイル転送(TST)のためのシーケンス・ツー・シーケンス言語モデリングフレームワークである置換言語モデル(RLM)を導入する。 提案手法は,ソース文の各トークンを類似した意味を持つテキストスパンで自動回帰的に置き換える。 新しいスパンは非自己回帰型マスキング言語モデルによって生成され、置換されたトークンのローカルコンテキストの意味をよりよく保存することができる。
  論文  参考訳（メタデータ） (2022-11-14T13:35:55Z)
• ELMER: A Non-Autoregressive Pre-trained Language Model for Efficient and Effective Text Generation [97.64625999380425]
  事前学習言語モデル(PLM)のアプローチによるテキスト生成タスクについて検討する。 早期出口技術を活用することで、ELMERは予測信頼度に応じて異なるレイヤでのトークン生成を可能にする。 3つのテキスト生成タスクの実験では、EMMERはNARモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-24T14:46:47Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Straight to the Gradient: Learning to Use Novel Tokens for Neural Text Generation [4.866431869728018]
  損失関数の勾配を直に修正したScaleGradを導入し、標準MLE目標の劣化問題を改善する。 実験結果から,提案手法はオープンエンド世代だけでなく,有向生成タスクにおいても有効であることが示された。
  論文  参考訳（メタデータ） (2021-06-14T07:46:30Z)
• Revisiting Simple Neural Probabilistic Language Models [27.957834093475686]
  本稿では,Bengio2003ANPの神経確率言語モデル(NPLM)を再検討する。 現代のハードウェアにスケールアップすると、このモデルは単語レベルの言語モデルのベンチマークで期待以上にパフォーマンスが向上する。 この結果に触発され、最初の自己保持層をNPLMの局所連結層に置き換えることでトランスフォーマーを変更した。
  論文  参考訳（メタデータ） (2021-04-08T02:18:47Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)
• PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation [92.7366819044397]
  自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。 本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。 広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
  論文  参考訳（メタデータ） (2020-04-14T06:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。