論文の概要: Distributed Training of Deep Neural Network Acoustic Models for
Automatic Speech Recognition
- arxiv url: http://arxiv.org/abs/2002.10502v1
- Date: Mon, 24 Feb 2020 19:31:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 04:46:49.615919
- Title: Distributed Training of Deep Neural Network Acoustic Models for
Automatic Speech Recognition
- Title(参考訳): 自動音声認識のためのディープニューラルネットワーク音響モデルの分散学習
- Authors: Xiaodong Cui, Wei Zhang, Ulrich Finkler, George Saon, Michael Picheny,
David Kung
- Abstract要約: ASRのためのディープニューラルネットワーク音響モデルのための分散トレーニング手法の概要について述べる。
提案手法の収束, 高速化, 認識性能を調べるために, 一般のベンチマークで実験を行った。
- 参考スコア(独自算出の注目度): 33.032361181388886
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The past decade has witnessed great progress in Automatic Speech Recognition
(ASR) due to advances in deep learning. The improvements in performance can be
attributed to both improved models and large-scale training data. Key to
training such models is the employment of efficient distributed learning
techniques. In this article, we provide an overview of distributed training
techniques for deep neural network acoustic models for ASR. Starting with the
fundamentals of data parallel stochastic gradient descent (SGD) and ASR
acoustic modeling, we will investigate various distributed training strategies
and their realizations in high performance computing (HPC) environments with an
emphasis on striking the balance between communication and computation.
Experiments are carried out on a popular public benchmark to study the
convergence, speedup and recognition performance of the investigated
strategies.
- Abstract(参考訳): 過去10年間、ディープラーニングの進歩により、自動音声認識(ASR)に大きな進歩が見られた。
パフォーマンスの改善は、改善されたモデルと大規模なトレーニングデータの両方に起因する。
このようなモデルのトレーニングの鍵は、効率的な分散学習技術の雇用である。
本稿では、ASRのためのディープニューラルネットワーク音響モデルのための分散トレーニング手法の概要について述べる。
本稿では,データ並列確率勾配勾配(SGD)とASR音響モデルの基礎から,通信と計算のバランスを崩すことに重点を置いた,高性能コンピューティング(HPC)環境における分散トレーニング戦略とその実現について検討する。
調査戦略の収束,スピードアップ,認識性能を検討するため,人気のあるベンチマークを用いて実験を行った。
関連論文リスト
- Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - Enhancing Neural Training via a Correlated Dynamics Model [3.1049440318608563]
相関モード分解(CMD)は、パラメータ空間をグループにクラスタリングし、エポック間の同期動作を表示するアルゴリズムである。
トレーニングと同時に動作するように設計された効率的なCMDバリアントを導入する。
実験の結果,CMD は画像分類のコンパクトなモデル化のための最先端手法を超越していることがわかった。
論文 参考訳(メタデータ) (2023-12-20T18:22:49Z) - Training dynamic models using early exits for automatic speech
recognition on resource-constrained devices [15.879328412777008]
初期のアーキテクチャは、そのサイズとアーキテクチャを様々なレベルの計算リソースとASRパフォーマンス要求に適応できる動的モデルの開発を可能にする。
また,スクラッチからトレーニングした早期退避モデルは,エンコーダ層が少ない場合に性能を保ちつつ,単一退避モデルや事前学習モデルと比較してタスク精度が向上することを示した。
結果は、ASRモデルの早期アーキテクチャのトレーニングダイナミクスに関する洞察を与える。
論文 参考訳(メタデータ) (2023-09-18T07:45:16Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-06-08T05:44:06Z) - Training neural networks with structured noise improves classification
and generalization [0.0]
ノイズの多いトレーニングデータに構造を追加することで,アルゴリズムの性能が大幅に向上することを示す。
最適雑音データのサンプリング手法を提案し, 学習法とヘビアンアンアンラーニング法の両方より優れているように実装した。
論文 参考訳(メタデータ) (2023-02-26T22:10:23Z) - An Empirical Study on Distribution Shift Robustness From the Perspective
of Pre-Training and Data Augmentation [91.62129090006745]
本稿では,事前学習とデータ拡張の観点から分布シフト問題を考察する。
我々は,事前学習とデータ拡張に焦点を当てた,最初の総合的な実証的研究を行った。
論文 参考訳(メタデータ) (2022-05-25T13:04:53Z) - Asynchronous Decentralized Distributed Training of Acoustic Models [43.34839658423581]
非同期分散並列SGD(ADPSGD)の3つの変種について検討する。
固定およびランダム化された通信パターンを持つADPSGDは、遅い学習者とうまく対応していることを示す。
特に,遅延・バイ・ワン戦略を用いて,2時間以内で音響モデルを訓練することができる。
論文 参考訳(メタデータ) (2021-10-21T15:14:58Z) - Improved Speech Emotion Recognition using Transfer Learning and
Spectrogram Augmentation [56.264157127549446]
音声感情認識(SER)は、人間とコンピュータの相互作用において重要な役割を果たす課題である。
SERの主な課題の1つは、データの不足である。
本稿では,スペクトログラム拡張と併用した移動学習戦略を提案する。
論文 参考訳(メタデータ) (2021-08-05T10:39:39Z) - Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。
畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。
この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
論文 参考訳(メタデータ) (2021-08-03T19:24:25Z) - Self-Adaptive Training: Bridging the Supervised and Self-Supervised
Learning [16.765461276790944]
自己適応型トレーニングは、追加の計算コストを課すことなく、モデル予測によってトレーニングプロセスを動的にキャリブレーションし、強化する統一型トレーニングアルゴリズムです。
ランダムノイズや敵対的な例など、破損したトレーニングデータの深層ネットワークのトレーニングダイナミクスを分析します。
分析の結果, モデル予測はデータ中の有用な情報量を拡大することが可能であり, 強調ラベル情報がない場合にも広く発生することがわかった。
論文 参考訳(メタデータ) (2021-01-21T17:17:30Z) - Understanding the Effects of Data Parallelism and Sparsity on Neural
Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。
有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文 参考訳(メタデータ) (2020-03-25T10:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。