論文の概要: Future Vector Enhanced LSTM Language Model for LVCSR

• arxiv url: http://arxiv.org/abs/2008.01832v1
• Date: Fri, 31 Jul 2020 08:38:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 07:06:54.255897
• Title: Future Vector Enhanced LSTM Language Model for LVCSR
• Title（参考訳）: LVCSRのための将来ベクトル拡張LSTM言語モデル
• Authors: Qi Liu, Yanmin Qian, Kai Yu
• Abstract要約: 本稿では,将来ベクトルを用いた拡張長短期メモリ(LSTM)LMを提案する。 実験の結果,提案したLSTM LMはBLEUスコアよりも長期のシーケンス予測に有効であることがわかった。 新たなLSTM LMと従来のLSTM LMを併用することで,単語誤り率を大幅に向上させることができる。
• 参考スコア（独自算出の注目度）: 67.03726018635174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models (LM) play an important role in large vocabulary continuous speech recognition (LVCSR). However, traditional language models only predict next single word with given history, while the consecutive predictions on a sequence of words are usually demanded and useful in LVCSR. The mismatch between the single word prediction modeling in trained and the long term sequence prediction in read demands may lead to the performance degradation. In this paper, a novel enhanced long short-term memory (LSTM) LM using the future vector is proposed. In addition to the given history, the rest of the sequence will be also embedded by future vectors. This future vector can be incorporated with the LSTM LM, so it has the ability to model much longer term sequence level information. Experiments show that, the proposed new LSTM LM gets a better result on BLEU scores for long term sequence prediction. For the speech recognition rescoring, although the proposed LSTM LM obtains very slight gains, the new model seems obtain the great complementary with the conventional LSTM LM. Rescoring using both the new and conventional LSTM LMs can achieve a very large improvement on the word error rate.
• Abstract（参考訳）: 言語モデル(LM)は,大語彙連続音声認識(LVCSR)において重要な役割を果たす。 しかしながら、従来の言語モデルは、与えられた歴史を持つ次の単一の単語しか予測しないが、連続した単語列の予測は通常、LVCSRで要求され有用である。 学習中の単一単語予測モデルと読み出し要求における長期シーケンス予測のミスマッチは、性能低下につながる可能性がある。 本稿では,将来ベクトルを用いた拡張長短期メモリ(LSTM)LMを提案する。 与えられた履歴に加えて、シーケンスの残りの部分は将来のベクターによって埋め込まれる。 この将来のベクターはlstm lmに組み込むことができるので、より長期のシーケンスレベルの情報をモデル化することができる。 実験の結果,提案したLSTM LMはBLEUスコアよりも長期的シーケンス予測が優れていることがわかった。 音声認識では,提案するLSTM LMは若干の利得が得られるが,従来のLSTM LMとの大きな相補性が得られると考えられる。 新たなLSTM LMと従来のLSTM LMを併用することで,単語誤り率を大幅に向上させることができる。

関連論文リスト

• What Goes Into a LM Acceptability Judgment? Rethinking the Impact of Frequency and Length [61.71625297655583]
  MORCELAはアクセプタビリティのためのリンク理論よりも優れていることを示す。 より大型のモデルでは、一グラムの周波数に対する相対的な調整の度合いが低い。 本分析により,より大きなLMの周波数効果に対する感受性の低下は,文脈において稀な単語をより正確に予測する能力によって説明できることが示された。
  論文  参考訳（メタデータ） (2024-11-04T19:05:49Z)
• Beam Prediction based on Large Language Models [51.45077318268427]
  ミリ波(mmWave)通信は次世代無線ネットワークに期待できるが、パス損失は大きい。 長短期記憶(LSTM)のような従来のディープラーニングモデルでは、ビーム追跡精度が向上するが、ロバスト性や一般化が不足している。 本稿では,大規模言語モデル(LLM)を用いて,ビーム予測の堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-08-16T12:40:01Z)
• Better Language Model with Hypernym Class Prediction [101.8517004687825]
  クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。 本研究では,このアプローチをニューラルLMの文脈で再考する。
  論文  参考訳（メタデータ） (2022-03-21T01:16:44Z)
• On the long-term learning ability of LSTM LMs [17.700860670640015]
  本研究では,文レベルおよび談話レベルのLSTM LMに対して,CBOWモデルに基づく文脈拡張を評価する。 長期的文脈モジュールを用いた文レベルモデルは、バニラ談話レベルLSTM LMと同等に動作する。 一方、この拡張は談話レベルのモデルに対して利得を提供しない。
  論文  参考訳（メタデータ） (2021-06-16T16:34:37Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)
• Long short-term memory networks and laglasso for bond yield forecasting: Peeping inside the black box [10.412912723760172]
  長期記憶(LSTM)ネットワークを用いた結合収率予測の最初の研究を行った。 我々は,シーケンス・ツー・シーケンス・アーキテクチャを用いて,メモリセル内の選択された位置におけるLSTM信号の時間的計算を行う。
  論文  参考訳（メタデータ） (2020-05-05T14:23:00Z)
• Language Model Prior for Low-Resource Neural Machine Translation [85.55729693003829]
  ニューラル翻訳モデル (TM) において, LM を事前に組み込む新しい手法を提案する。 正規化項を追加し、TMの出力分布をLMの下で予測可能とする。 2つの低リソース機械翻訳データセットの結果は、限られたモノリンガルデータであっても明らかな改善を示している。
  論文  参考訳（メタデータ） (2020-04-30T16:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。