論文の概要: Partitioned Gradient Matching-based Data Subset Selection for Compute-Efficient Robust ASR Training

• arxiv url: http://arxiv.org/abs/2210.16892v1
• Date: Sun, 30 Oct 2022 17:22:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 18:12:08.468184
• Title: Partitioned Gradient Matching-based Data Subset Selection for Compute-Efficient Robust ASR Training
• Title（参考訳）: 計算効率の良いロバストASRトレーニングのための分割勾配マッチングに基づくデータセット選択
• Authors: Ashish Mittal, Durga Sivasubramanian, Rishabh Iyer, Preethi Jyothi and Ganesh Ramakrishnan
• Abstract要約: PGM(Partitioned Gradient Matching)は、RNN-Tのトレーニングに使用されるような、大規模なデータセットに適している。 PGMは3倍から6倍のスピードアップを達成できるが,精度は極めて低い。
• 参考スコア（独自算出の注目度）: 32.68124808736473
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Training state-of-the-art ASR systems such as RNN-T often has a high associated financial and environmental cost. Training with a subset of training data could mitigate this problem if the subset selected could achieve on-par performance with training with the entire dataset. Although there are many data subset selection(DSS) algorithms, direct application to the RNN-T is difficult, especially the DSS algorithms that are adaptive and use learning dynamics such as gradients, as RNN-T tend to have gradients with a significantly larger memory footprint. In this paper, we propose Partitioned Gradient Matching (PGM) a novel distributable DSS algorithm, suitable for massive datasets like those used to train RNN-T. Through extensive experiments on Librispeech 100H and Librispeech 960H, we show that PGM achieves between 3x to 6x speedup with only a very small accuracy degradation (under 1% absolute WER difference). In addition, we demonstrate similar results for PGM even in settings where the training data is corrupted with noise.
• Abstract（参考訳）: RNN-Tのような最先端のASRシステムの訓練は、しばしば金融と環境のコストが高い。 トレーニングデータのサブセットによるトレーニングは、選択したサブセットがデータセット全体のトレーニングでオンパーパフォーマンスを達成できれば、この問題を軽減することができる。 多くのデータサブセット選択(DSS)アルゴリズムがあるが、RNN-Tへの直接適用は困難であり、特にRNN-Tはメモリフットプリントが大幅に大きくなる傾向にあるため、適応性が高く、勾配のような学習ダイナミクスを使用するDSSアルゴリズムは困難である。 本稿では,RNN-Tのトレーニングに使用されるような大規模データセットに適した分散DSSアルゴリズムであるPartitioned Gradient Matching (PGM)を提案する。 Librispeech 100H と Librispeech 960H の広範な実験により、PGM は3倍から6倍の高速化を実現し、精度はわずかに低い(絶対 WER 差1%)。 さらに、トレーニングデータがノイズで破損した場合でも、PGMの同様の結果を示す。

関連論文リスト

• Dynamic Data Pruning for Automatic Speech Recognition [58.95758272440217]
  ASR(DDP-ASR)のダイナミック・データ・プルーニング(Dynamic Data Pruning for ASR)を導入し,音声関連データセットに特化して微細なプルーニングの粒度を提供する。 実験の結果,DDP-ASRは最大1.6倍のトレーニング時間を節約できることがわかった。
  論文  参考訳（メタデータ） (2024-06-26T14:17:36Z)
• Repeated Random Sampling for Minimizing the Time-to-Accuracy of Learning [28.042568086423298]
  ランダム・サブセットの繰り返しサンプリング(RS2)は、強力だが見落とされたランダムサンプリング戦略である。 我々は、ImageNetを含む4つのデータセットにわたる30の最先端データプルーニングとデータ蒸留法に対してRS2をテストする。 その結果,RS2は既存の手法に比べて時間と精度を著しく低下させることがわかった。
  論文  参考訳（メタデータ） (2023-05-28T20:38:13Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Navigating Local Minima in Quantized Spiking Neural Networks [3.1351527202068445]
  深層学習(DL)アルゴリズムの超効率的な実装においては,スパイキングと量子ニューラルネットワーク(NN)が極めて重要になっている。 これらのネットワークは、ハードしきい値を適用する際の勾配信号の欠如により、エラーのバックプロパゲーションを使用してトレーニングする際の課題に直面している。 本稿では,コサインアニールLRスケジュールと重み非依存適応モーメント推定を併用したシステム評価を行った。
  論文  参考訳（メタデータ） (2022-02-15T06:42:25Z)
• Efficient Training of Spiking Neural Networks with Temporally-Truncated Local Backpropagation through Time [1.926678651590519]
  訓練用スパイクニューラルネットワーク(SNN)は、複雑な神経力学と発火機能における本質的な非微分性のため、依然として困難である。 本研究では,局所教師付きトレーニング手法と時間的制約付きBPTTアルゴリズムを統合したSNNの効率的かつ直接的なトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-13T07:44:58Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
  ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。 しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。 本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
  論文  参考訳（メタデータ） (2020-07-01T04:48:49Z)
• Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike Timing Dependent Backpropagation [10.972663738092063]
  Spiking Neural Networks(SNN)は非同期離散イベント(スパイク)で動作する 本稿では,深層SNNのための計算効率のよいトレーニング手法を提案する。 我々は、SNN上のImageNetデータセットの65.19%のトップ1精度を250タイムステップで達成し、同様の精度で変換されたSNNに比べて10倍高速である。
  論文  参考訳（メタデータ） (2020-05-04T19:30:43Z)
• Dynamic R-CNN: Towards High Quality Object Detection via Dynamic Training [70.2914594796002]
  ラベル割り当て基準と回帰損失関数の形状を調整するための動的R-CNNを提案する。 我々はResNet-50-FPNベースラインを1.9%のAPと5.5%のAP$_90$で改善し、余分なオーバーヘッドを伴わない。
  論文  参考訳（メタデータ） (2020-04-13T15:20:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。