論文の概要: Future Vector Enhanced LSTM Language Model for LVCSR
- arxiv url: http://arxiv.org/abs/2008.01832v1
- Date: Fri, 31 Jul 2020 08:38:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-04 07:06:54.255897
- Title: Future Vector Enhanced LSTM Language Model for LVCSR
- Title(参考訳): LVCSRのための将来ベクトル拡張LSTM言語モデル
- Authors: Qi Liu, Yanmin Qian, Kai Yu
- Abstract要約: 本稿では,将来ベクトルを用いた拡張長短期メモリ(LSTM)LMを提案する。
実験の結果,提案したLSTM LMはBLEUスコアよりも長期のシーケンス予測に有効であることがわかった。
新たなLSTM LMと従来のLSTM LMを併用することで,単語誤り率を大幅に向上させることができる。
- 参考スコア(独自算出の注目度): 67.03726018635174
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language models (LM) play an important role in large vocabulary continuous
speech recognition (LVCSR). However, traditional language models only predict
next single word with given history, while the consecutive predictions on a
sequence of words are usually demanded and useful in LVCSR. The mismatch
between the single word prediction modeling in trained and the long term
sequence prediction in read demands may lead to the performance degradation. In
this paper, a novel enhanced long short-term memory (LSTM) LM using the future
vector is proposed. In addition to the given history, the rest of the sequence
will be also embedded by future vectors. This future vector can be incorporated
with the LSTM LM, so it has the ability to model much longer term sequence
level information. Experiments show that, the proposed new LSTM LM gets a
better result on BLEU scores for long term sequence prediction. For the speech
recognition rescoring, although the proposed LSTM LM obtains very slight gains,
the new model seems obtain the great complementary with the conventional LSTM
LM. Rescoring using both the new and conventional LSTM LMs can achieve a very
large improvement on the word error rate.
- Abstract(参考訳): 言語モデル(LM)は,大語彙連続音声認識(LVCSR)において重要な役割を果たす。
しかしながら、従来の言語モデルは、与えられた歴史を持つ次の単一の単語しか予測しないが、連続した単語列の予測は通常、LVCSRで要求され有用である。
学習中の単一単語予測モデルと読み出し要求における長期シーケンス予測のミスマッチは、性能低下につながる可能性がある。
本稿では,将来ベクトルを用いた拡張長短期メモリ(LSTM)LMを提案する。
与えられた履歴に加えて、シーケンスの残りの部分は将来のベクターによって埋め込まれる。
この将来のベクターはlstm lmに組み込むことができるので、より長期のシーケンスレベルの情報をモデル化することができる。
実験の結果,提案したLSTM LMはBLEUスコアよりも長期的シーケンス予測が優れていることがわかった。
音声認識では,提案するLSTM LMは若干の利得が得られるが,従来のLSTM LMとの大きな相補性が得られると考えられる。
新たなLSTM LMと従来のLSTM LMを併用することで,単語誤り率を大幅に向上させることができる。
関連論文リスト
- Taming Pre-trained LLMs for Generalised Time Series Forecasting via
Cross-modal Knowledge Distillation [62.46869075841118]
我々はLLaTAと呼ばれる新しい大規模言語モデルと時系列アライメントフレームワークを提案し、時系列予測課題におけるLLMの可能性を完全に解き放つ。
提案手法は, クロスモーダルな知識蒸留に基づいて, 入力に依存しない静的知識と, 事前学習LLMにおける入力依存動的知識の両方を利用する。
論文 参考訳(メタデータ) (2024-03-12T04:04:38Z) - AutoTimes: Autoregressive Time Series Forecasters via Large Language
Models [72.77653698874678]
本稿では,大規模言語モデル(LLM)を自動回帰時系列予測器として活用するためにAutoTimesを提案する。
提案手法は, LLM, 追加テキスト, 時系列を命令として利用することにより, 顕著な手法の一般化を実現し, 性能の向上を実現している。
論文 参考訳(メタデータ) (2024-02-04T06:59:21Z) - Transformers versus LSTMs for electronic trading [0.0]
本研究では,Transformerベースのモデルが金融時系列予測に適用可能か,LSTMに勝るかを検討する。
DLSTMと呼ばれるLSTMベースの新しいモデルを構築し、Transformerベースのモデルのための新しいアーキテクチャは、財務予測に適応するように設計されている。
実験結果は,Transformerベースのモデルが絶対価格列予測において限られた優位性しか持たないことを反映している。
論文 参考訳(メタデータ) (2023-09-20T15:25:43Z) - Better Language Model with Hypernym Class Prediction [101.8517004687825]
クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。
本研究では,このアプローチをニューラルLMの文脈で再考する。
論文 参考訳(メタデータ) (2022-03-21T01:16:44Z) - On the long-term learning ability of LSTM LMs [17.700860670640015]
本研究では,文レベルおよび談話レベルのLSTM LMに対して,CBOWモデルに基づく文脈拡張を評価する。
長期的文脈モジュールを用いた文レベルモデルは、バニラ談話レベルLSTM LMと同等に動作する。
一方、この拡張は談話レベルのモデルに対して利得を提供しない。
論文 参考訳(メタデータ) (2021-06-16T16:34:37Z) - Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。
我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。
実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
論文 参考訳(メタデータ) (2020-09-27T02:13:38Z) - Long short-term memory networks and laglasso for bond yield forecasting:
Peeping inside the black box [10.412912723760172]
長期記憶(LSTM)ネットワークを用いた結合収率予測の最初の研究を行った。
我々は,シーケンス・ツー・シーケンス・アーキテクチャを用いて,メモリセル内の選択された位置におけるLSTM信号の時間的計算を行う。
論文 参考訳(メタデータ) (2020-05-05T14:23:00Z) - Language Model Prior for Low-Resource Neural Machine Translation [85.55729693003829]
ニューラル翻訳モデル (TM) において, LM を事前に組み込む新しい手法を提案する。
正規化項を追加し、TMの出力分布をLMの下で予測可能とする。
2つの低リソース機械翻訳データセットの結果は、限られたモノリンガルデータであっても明らかな改善を示している。
論文 参考訳(メタデータ) (2020-04-30T16:29:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。