論文の概要: SapAugment: Learning A Sample Adaptive Policy for Data Augmentation
- arxiv url: http://arxiv.org/abs/2011.01156v2
- Date: Mon, 15 Feb 2021 18:02:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 11:21:59.510661
- Title: SapAugment: Learning A Sample Adaptive Policy for Data Augmentation
- Title（参考訳）: SapAugment: データ拡張のためのサンプル適応ポリシーを学ぶ
- Authors: Ting-Yao Hu, Ashish Shrivastava, Jen-Hao Rick Chang, Hema Koppula,
Stefan Braun, Kyuyeon Hwang, Ozlem Kalinli, Oncel Tuzel
- Abstract要約: 本稿では,SapAugment のサンプル適応政策を学習するための新しい手法を提案する。
また,LbriSpeechデータセットにおける単語誤り率の21%を,最先端の音声強調法よりも大幅に改善した。
- 参考スコア（独自算出の注目度）: 21.044266725115577
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data augmentation methods usually apply the same augmentation (or a mix of
them) to all the training samples. For example, to perturb data with noise, the
noise is sampled from a Normal distribution with a fixed standard deviation,
for all samples. We hypothesize that a hard sample with high training loss
already provides strong training signal to update the model parameters and
should be perturbed with mild or no augmentation. Perturbing a hard sample with
a strong augmentation may also make it too hard to learn from. Furthermore, a
sample with low training loss should be perturbed by a stronger augmentation to
provide more robustness to a variety of conditions. To formalize these
intuitions, we propose a novel method to learn a Sample-Adaptive Policy for
Augmentation -- SapAugment. Our policy adapts the augmentation parameters based
on the training loss of the data samples. In the example of Gaussian noise, a
hard sample will be perturbed with a low variance noise and an easy sample with
a high variance noise. Furthermore, the proposed method combines multiple
augmentation methods into a methodical policy learning framework and obviates
hand-crafting augmentation parameters by trial-and-error. We apply our method
on an automatic speech recognition (ASR) task, and combine existing and novel
augmentations using the proposed framework. We show substantial improvement, up
to 21% relative reduction in word error rate on LibriSpeech dataset, over the
state-of-the-art speech augmentation method.
- Abstract（参考訳）: データ拡張メソッドは通常、すべてのトレーニングサンプルに同じ拡張(またはそれらの混合)を適用する。
例えば、ノイズを伴うデータを摂動するために、すべてのサンプルに対して標準偏差が固定された正規分布からノイズをサンプリングする。
トレーニング損失の高いハードサンプルは、モデルパラメータを更新するための強力なトレーニング信号を提供しており、軽度または無添加で摂動されるべきであると仮定した。
強い拡張で硬いサンプルを摂ることも、学ぶのを難しくするかもしれません。
さらに, トレーニング損失の少ないサンプルは, 各種条件に対する堅牢性を高めるために, より強い増強により摂動されなければならない。
これらの直観を形式化するために, 拡張のためのサンプル適応ポリシーを学習する新しい手法を提案する。
当社の方針は,データサンプルのトレーニング損失に基づいて拡張パラメータを適応させる。
ガウス雑音の例では、ハードサンプルは低分散ノイズで摂動し、簡単なサンプルは高分散ノイズで摂動する。
さらに,提案手法は,複数の拡張手法を方法論的政策学習フレームワークに組み合わせ,試行錯誤による手作り拡張パラメータの回避を行う。
提案手法を自動音声認識(ASR)タスクに適用し,提案フレームワークを用いた既存と新規の拡張を組み合わせた。
また,LbriSpeechデータセットにおける単語誤り率の21%を,最先端の音声強調法よりも大幅に改善した。
関連論文リスト
- Inference Stage Denoising for Undersampled MRI Reconstruction [13.8086726938161]
磁気共鳴画像(MRI)データの再構成は、ディープラーニングによって肯定的な影響を受けている。
重要な課題は、トレーニングとテストデータ間の分散シフトへの一般化を改善することだ。
論文 参考訳（メタデータ） (2024-02-12T12:50:10Z) - Data Pruning via Moving-one-Sample-out [61.45441981346064]
我々は移動1サンプルアウト(MoSo)と呼ばれる新しいデータ処理手法を提案する。
MoSoは、トレーニングセットから最も分かりにくいサンプルを特定し、削除することを目的としている。
実験結果から,MoSoは高プルーニング比で高い性能劣化を効果的に緩和することが示された。
論文 参考訳（メタデータ） (2023-10-23T08:00:03Z) - Data Augmentation for Seizure Prediction with Generative Diffusion Model [26.967247641926814]
重症度予測は患者の生活改善に非常に重要である。
初期データと中間データの間の深刻な不均衡問題は、依然として大きな課題となっている。
データ拡張は、この問題を解決するための直感的な方法です。
DiffEEGと呼ばれる拡散モデルを用いた新しいデータ拡張手法を提案する。
論文 参考訳（メタデータ） (2023-06-14T05:44:53Z) - Intra-class Adaptive Augmentation with Neighbor Correction for Deep
Metric Learning [99.14132861655223]
深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。
クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。
本手法は,検索性能の最先端手法を3%～6%向上させる。
論文 参考訳（メタデータ） (2022-11-29T14:52:38Z) - ScoreMix: A Scalable Augmentation Strategy for Training GANs with
Limited Data [93.06336507035486]
GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。
ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
論文 参考訳（メタデータ） (2022-10-27T02:55:15Z) - DiscrimLoss: A Universal Loss for Hard Samples and Incorrect Samples
Discrimination [28.599571524763785]
ラベルノイズ(すなわち不正なデータ)が与えられた場合、ディープニューラルネットワークはラベルノイズとモデル性能を徐々に記憶する。
この問題を解消するために,カリキュラム学習を提案し,学習サンプルを有意義な順序で順序付けすることで,モデル性能と一般化を向上させる。
論文 参考訳（メタデータ） (2022-08-21T13:38:55Z) - ReSmooth: Detecting and Utilizing OOD Samples when Training with Data
Augmentation [57.38418881020046]
最近のDA技術は、常に強化トレーニングサンプルの多様性の必要性を満たす。
多様性の高い増分戦略は、通常、アウト・オブ・ディストリビューション(OOD)の増分サンプルを導入する。
ReSmoothは、まず、拡張サンプル中のOODサンプルを検知し、それらを活用するフレームワークである。
論文 参考訳（メタデータ） (2022-05-25T09:29:27Z) - Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。
具体的には、対照的な学習方法でネットワークをトレーニングする。
各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
論文 参考訳（メタデータ） (2021-03-24T07:26:07Z) - Reweighting Augmented Samples by Minimizing the Maximal Expected Loss [51.2791895511333]
我々は,拡張標本の任意の重み付け損失に対する上限となる最大期待損失を構成する。
敵の訓練に触発されて、この最大期待損失を最小化し、単純で解釈可能なクローズドフォームソリューションを得る。
提案手法は, 一般に任意のデータ拡張法上に適用可能である。
論文 参考訳（メタデータ） (2021-03-16T09:31:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。