論文の概要: Macro-block dropout for improved regularization in training end-to-end speech recognition models

• arxiv url: http://arxiv.org/abs/2212.14149v1
• Date: Thu, 29 Dec 2022 02:09:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 15:56:47.112863
• Title: Macro-block dropout for improved regularization in training end-to-end speech recognition models
• Title（参考訳）: エンドツーエンド音声認識モデルの正規化改善のためのマクロブロックドロップアウト
• Authors: Chanwoo Kim, Sathish Indurti, Jinhwan Park, Wonyong Sung
• Abstract要約: 入力からリカレントニューラルネットワーク(RNN)への多数のユニットを含むマクロブロックを定義する。 各ユニットにドロップアウトを適用するのではなく、各マクロブロックにランダムドロップアウトを適用する。 このアルゴリズムは,一定平均ドロップアウト率を維持した場合でも,各層に対して異なるドロップアウト率を適用する効果を有する。
• 参考スコア（独自算出の注目度）: 26.06529184341722
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes a new regularization algorithm referred to as macro-block dropout. The overfitting issue has been a difficult problem in training large neural network models. The dropout technique has proven to be simple yet very effective for regularization by preventing complex co-adaptations during training. In our work, we define a macro-block that contains a large number of units from the input to a Recurrent Neural Network (RNN). Rather than applying dropout to each unit, we apply random dropout to each macro-block. This algorithm has the effect of applying different drop out rates for each layer even if we keep a constant average dropout rate, which has better regularization effects. In our experiments using Recurrent Neural Network-Transducer (RNN-T), this algorithm shows relatively 4.30 % and 6.13 % Word Error Rates (WERs) improvement over the conventional dropout on LibriSpeech test-clean and test-other. With an Attention-based Encoder-Decoder (AED) model, this algorithm shows relatively 4.36 % and 5.85 % WERs improvement over the conventional dropout on the same test sets.
• Abstract（参考訳）: 本稿ではマクロブロックドロップアウトと呼ばれる新しい正規化アルゴリズムを提案する。 オーバーフィッティング問題は、大規模なニューラルネットワークモデルをトレーニングする上で難しい問題だった。 ドロップアウトテクニックは、トレーニング中の複雑な共適応を防止し、正規化に非常に効果的であることが証明されている。 本研究では,入力からリカレントニューラルネットワーク(RNN)への多数のユニットを含むマクロブロックを定義する。 各ユニットにドロップアウトを適用するのではなく、各マクロブロックにランダムドロップアウトを適用する。 このアルゴリズムは,一定平均落差率を維持した場合でも,各層に対して異なる落差率を適用する効果があり,正則化効果が良好である。 Recurrent Neural Network-Transducer (RNN-T) を用いた実験では,従来のLibriSpeechテストクリーンおよびテストクリーンのドロップアウトよりも比較的4.30 %と6.13 %のワード誤り率(WER)が改善されている。 Attention-based Encoder-Decoder (AED) モデルでは、このアルゴリズムは従来のテストセットのドロップアウトよりも比較的4.36 %と5.85 %のWERが改善されている。

関連論文リスト

• FlexiDrop: Theoretical Insights and Practical Advances in Random Dropout Method on GNNs [4.52430575477004]
  本稿ではFlexiDropと呼ばれるグラフニューラルネットワーク(GNN)のための新しいランダムドロップアウト手法を提案する。 本研究では, モデル複雑性と一般化能力のトレードオフを理論的にバランスさせることにより, ドロップアウト率を適応的に調整できることを示す。
  論文  参考訳（メタデータ） (2024-05-30T12:48:44Z)
• InRank: Incremental Low-Rank Learning [85.6380047359139]
  勾配に基づくトレーニングは、トレーニング中のランクの段階的な増加を通じて、ニューラルネットワークを低ランクのソリューションに向けて暗黙的に正規化する。 既存のトレーニングアルゴリズムでは、計算効率を向上させるために、ローランクな特性を活用できない。 InRank(Incremental Low-Rank Learning)は,低ランク行列として累積重み更新を明示的に表現する学習アルゴリズムである。
  論文  参考訳（メタデータ） (2023-06-20T03:03:04Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Dropout Reduces Underfitting [85.61466286688385]
  本研究は,トレーニング開始時の不適合を軽減できることを示す。 ドロップアウトは、ミニバッチ間の勾配の方向性のばらつきを低減し、データセット全体の勾配とミニバッチ勾配の整合を支援する。 この結果から,未適合モデルの性能向上のためのソリューションが得られた – 早期のドロップアウト – トレーニングの初期段階でのみドロップアウトが適用され,その後,オフになります。
  論文  参考訳（メタデータ） (2023-03-02T18:59:15Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• AutoDropout: Learning Dropout Patterns to Regularize Deep Networks [82.28118615561912]
  ドロップアウトまたは重量減衰方法は、ネットワークの入力と隠された状態の構造を利用しません。 本手法は,CIFAR-10 と ImageNet 上の画像認識と Penn Treebank および WikiText-2 上の言語モデリングに有効であることを示す。 学習したドロップアウトパターンは、penn treebankの言語モデルからwmt 2014のengligh- french translationまで、さまざまなタスクやデータセットに転送される。
  論文  参考訳（メタデータ） (2021-01-05T19:54:22Z)
• Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization [62.8384110757689]
  ディープニューラルネットワーク(DNN)の現実的応用において、ユビキタスなオーバーフィッティングが存在する 先進的なドロップアウト手法は、パラメトリック先行でモデルフリーで容易に実装された分布を適用し、ドロップアウト率を適応的に調整する。 7つのコンピュータビジョンデータセットにおける9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。
  論文  参考訳（メタデータ） (2020-10-11T13:19:58Z)
• MaxDropout: Deep Neural Network Regularization Based on Maximum Output Values [0.0]
  MaxDropoutはディープニューラルネットワークモデルのレギュレータで、著名なニューロンを除去することで教師付きで機能する。 我々は、DropoutがMaxDropoutに置き換えられた場合、既存のニューラルネットワークを改善し、ニューラルネットワークのより良い結果を提供することができることを示す。
  論文  参考訳（メタデータ） (2020-07-27T17:55:54Z)
• Fast Monte Carlo Dropout and Error Correction for Radio Transmitter Classification [2.0711789781518752]
  モンテカルロのドロップアウトはディープラーニングにおけるモデルの不確実性を効果的に捉え、テスト時に複数のドロップアウトを使用して不確実性の尺度を得ることができる。 これらの手法を無線周波数(RF)送信機分類問題に適用し,提案アルゴリズムが単純なアンサンブル平均アルゴリズムよりも精度の高い予測不確実性を提供できることを示す。
  論文  参考訳（メタデータ） (2020-01-31T17:26:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。