論文の概要: A New Training Pipeline for an Improved Neural Transducer

• arxiv url: http://arxiv.org/abs/2005.09319v2
• Date: Wed, 18 Nov 2020 22:13:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 12:54:57.133949
• Title: A New Training Pipeline for an Improved Neural Transducer
• Title（参考訳）: 改良型ニューラルトランスデューサのための新しいトレーニングパイプライン
• Authors: Albert Zeyer, Andr\'e Merboldt, Ralf Schl\"uter, Hermann Ney
• Abstract要約: RNNトランスデューサは、有望なエンドツーエンドモデル候補である。 元のトレーニング基準と、すべてのアライメントに対する完全な限界化を比較し、一般的に使用される最大近似と比較する。 最終的なトランスデューサモデルは,Switchboard 300hにおける注目モデルよりも6%以上優れています。
• 参考スコア（独自算出の注目度）: 45.95101581439751
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The RNN transducer is a promising end-to-end model candidate. We compare the original training criterion with the full marginalization over all alignments, to the commonly used maximum approximation, which simplifies, improves and speeds up our training. We also generalize from the original neural network model and study more powerful models, made possible due to the maximum approximation. We further generalize the output label topology to cover RNN-T, RNA and CTC. We perform several studies among all these aspects, including a study on the effect of external alignments. We find that the transducer model generalizes much better on longer sequences than the attention model. Our final transducer model outperforms our attention model on Switchboard 300h by over 6% relative WER.
• Abstract（参考訳）: RNNトランスデューサは、有望なエンドツーエンドモデル候補である。 従来のトレーニング基準と,すべてのアライメントに対する完全なマージン化と,トレーニングを単純化し,改善し,スピードアップする一般的な最大近似を比較した。 また、元のニューラルネットワークモデルから一般化し、最大近似のために可能になったより強力なモデルを研究する。 さらに、RNN-T、RNA、CTCをカバーする出力ラベルトポロジーを一般化する。 外部アライメントの効果など,これらすべての側面からいくつかの研究を行っている。 我々は、トランスデューサモデルが注意モデルよりも長いシーケンスでより一般化することを見出した。 最後のトランスデューサモデルは、switchboard 300hの注目モデルを6%以上上回っています。

関連論文リスト

• Self-Supervised Radio Pre-training: Toward Foundational Models for Spectrogram Learning [6.1339395157466425]
  Foundational Deep Learning(DL)モデルは、多種多様で多様なデータセットに基づいてトレーニングされた一般的なモデルである。 本稿では,無線信号を用いた基礎DLモデルの事前学習のための,新しい自己教師型学習手法であるMasked Spectrogram Modelingを紹介する。
  論文  参考訳（メタデータ） (2024-11-14T23:56:57Z)
• Optimizing Dense Feed-Forward Neural Networks [0.0]
  本稿では,プルーニングと移動学習に基づくフィードフォワードニューラルネットワークの構築手法を提案する。 提案手法では,パラメータ数を70%以上圧縮できる。 また、ニューラルネットワークをスクラッチからトレーニングしたモデルと元のモデルを比較し、トランスファー学習レベルを評価した。
  論文  参考訳（メタデータ） (2023-12-16T23:23:16Z)
• TransNormerLLM: A Faster and Better Large Language Model with Improved TransNormer [34.790081960470964]
  最初の線形注意に基づくLarge Language Model(LLM)であるTransNormerLLMを提案する。 我々は, 位置埋め込み, 線形注意加速度, ゲーティング機構, テンソル正規化, 推論加速度, 安定化など, 高度な修正を行う。 自己収集コーパス上に385M, 1B, 7Bの大きさの列車モデルとアブリケーションを用いてモデル設計を検証する。
  論文  参考訳（メタデータ） (2023-07-27T16:45:33Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Auditory Attention Decoding from EEG using Convolutional Recurrent Neural Network [20.37214453938965]
  聴覚注意復号(aad)アプローチは,マルチトーカーシナリオにおいて参加者のアイデンティティを判定するために提案されている。 近年,この問題を解決するためにディープニューラルネットワーク(DNN)に基づくモデルが提案されている。 本論文では,新しい畳み込み型リカレントニューラルネットワーク(CRNN)に基づく回帰モデルと分類モデルを提案する。
  論文  参考訳（メタデータ） (2021-03-03T05:09:40Z)
• RNN-T Models Fail to Generalize to Out-of-Domain Audio: Causes and Solutions [73.45995446500312]
  ストリーミングおよび非ストリーミングリカレントニューラルネットワークトランスデューサ(RNN-T)のエンド・ツー・エンドモデルにおける一般化特性を解析した。 トレーニング中に複数の正規化手法を組み合わせる方法と,動的重複推論を用いる方法を提案する。
  論文  参考訳（メタデータ） (2020-05-07T06:24:47Z)
• Lipreading using Temporal Convolutional Networks [57.41253104365274]
  現在の単語認識モデルは,残差ネットワークと双方向Gated Recurrent Unit層で構成されている。 このモデルの限界に対処し、その性能をさらに向上させる変更を提案する。 提案モデルでは,これらのデータセットにおいてそれぞれ1.2%と3.2%の絶対的な改善が得られた。
  論文  参考訳（メタデータ） (2020-01-23T17:49:35Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。