論文の概要: Population Based Training for Data Augmentation and Regularization in Speech Recognition

• arxiv url: http://arxiv.org/abs/2010.03899v1
• Date: Thu, 8 Oct 2020 11:00:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 12:52:55.263471
• Title: Population Based Training for Data Augmentation and Regularization in Speech Recognition
• Title（参考訳）: 音声認識におけるデータ拡張と正規化のための人口ベーストレーニング
• Authors: Daniel Haziza, J\'er\'emy Rapin, Gabriel Synnaeve
• Abstract要約: 人口ベーストレーニングは,これらのハイパーパラメータを一定予算内で連続的に探索する上で有用なツールであることを示す。 この方法でSpecAugmentを最適化し,音声認識実験を行った。
• 参考スコア（独自算出の注目度）: 17.76605954149801
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Varying data augmentation policies and regularization over the course of optimization has led to performance improvements over using fixed values. We show that population based training is a useful tool to continuously search those hyperparameters, within a fixed budget. This greatly simplifies the experimental burden and computational cost of finding such optimal schedules. We experiment in speech recognition by optimizing SpecAugment this way, as well as dropout. It compares favorably to a baseline that does not change those hyperparameters over the course of training, with an 8% relative WER improvement. We obtain 5.18% word error rate on LibriSpeech's test-other.
• Abstract（参考訳）: データの増大ポリシーと最適化の過程での正規化により、固定値の使用よりもパフォーマンスが向上した。 人口ベーストレーニングは,これらのハイパーパラメータを一定予算内で連続的に探索する上で有用なツールであることを示す。 これは、このような最適なスケジュールを見つけるための実験的な負担と計算コストを大幅に単純化する。 このようにスペックを最適化して音声認識を実験し,ドロップアウトを行った。 トレーニングの過程でこれらのハイパーパラメータを変更しないベースラインと比較して、8%の相対的なWER改善がある。 librispeechのtest-otherで5.18%の単語誤り率を得た。

関連論文リスト

• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Make More of Your Data: Minimal Effort Data Augmentation for Automatic Speech Recognition and Translation [14.839931533868176]
  新しいトレーニングインスタンスを構築するために、オリジナルのデータ例を連結する、シンプルで費用効率の良い方法を評価する。 また, 継続学習法は, 非英語4言語に対するCoVoST-2のASR部において最大0.9 WERの改善をもたらす。
  論文  参考訳（メタデータ） (2022-10-27T13:01:01Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Text AutoAugment: Learning Compositional Augmentation Policy for Text Classification [29.539403965472943]
  本研究では,データ拡張のための合成および学習可能なパラダイムを確立するためのフレームワークであるText AutoAugment (TAA)を提案する。 6つのベンチマークデータセットの実験では、TAAは、それぞれ平均8.8%と9.7%の低リソースとクラス不均衡のレギュレーションの分類精度を向上している。
  論文  参考訳（メタデータ） (2021-09-01T11:16:21Z)
• How much progress have we made in neural network training? A New Evaluation Protocol for Benchmarking Optimizers [86.36020260204302]
  本稿では、エンドツーエンドの効率とデータ付加訓練の効率を評価するための新しいベンチマークプロトコルを提案する。 評価プロトコルは, ランダム探索よりも, 人間のチューニング行動とよく一致していることを示すために, 人間の実験を行った。 次に,提案したベンチマークフレームワークをコンピュータビジョン,自然言語処理,強化学習,グラフマイニングなどのタスクに適用する。
  論文  参考訳（メタデータ） (2020-10-19T21:46:39Z)
• Learning Data Augmentation with Online Bilevel Optimization for Image Classification [14.488360021440448]
  本稿では,その一般化を改善するために,変換の効果的な分布を学習するネットワークを自動的に訓練する効率的な手法を提案する。 共同学習法は手作業によるデータ拡張に匹敵する画像分類精度が得られた。
  論文  参考訳（メタデータ） (2020-06-25T21:01:52Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Improved Noisy Student Training for Automatic Speech Recognition [89.8397907990268]
  雑音学習」は,ネットワーク性能向上のために拡張を活用した反復的自己学習手法である。 自己学習イテレーション間で生成されたデータをフィルタリング、バランス、拡張する効果的な方法を見つけます。 我々は、LibriSpeech 100h (4.74%/12.20%)とLibriSpeech (1.9%/4.1%)で達成された、最先端のクリーン/ノイズテストWERを改善することができる。
  論文  参考訳（メタデータ） (2020-05-19T17:57:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。