論文の概要: Reweighting Augmented Samples by Minimizing the Maximal Expected Loss
- arxiv url: http://arxiv.org/abs/2103.08933v1
- Date: Tue, 16 Mar 2021 09:31:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-17 13:24:17.752629
- Title: Reweighting Augmented Samples by Minimizing the Maximal Expected Loss
- Title（参考訳）: 最大期待損失最小化による拡張サンプルの重み付け
- Authors: Mingyang Yi, Lu Hou, Lifeng Shang, Xin Jiang, Qun Liu, Zhi-Ming Ma
- Abstract要約: 我々は,拡張標本の任意の重み付け損失に対する上限となる最大期待損失を構成する。
敵の訓練に触発されて、この最大期待損失を最小化し、単純で解釈可能なクローズドフォームソリューションを得る。
提案手法は, 一般に任意のデータ拡張法上に適用可能である。
- 参考スコア（独自算出の注目度）: 51.2791895511333
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data augmentation is an effective technique to improve the generalization of
deep neural networks. However, previous data augmentation methods usually treat
the augmented samples equally without considering their individual impacts on
the model. To address this, for the augmented samples from the same training
example, we propose to assign different weights to them. We construct the
maximal expected loss which is the supremum over any reweighted loss on
augmented samples. Inspired by adversarial training, we minimize this maximal
expected loss (MMEL) and obtain a simple and interpretable closed-form
solution: more attention should be paid to augmented samples with large loss
values (i.e., harder examples). Minimizing this maximal expected loss enables
the model to perform well under any reweighting strategy. The proposed method
can generally be applied on top of any data augmentation methods. Experiments
are conducted on both natural language understanding tasks with token-level
data augmentation, and image classification tasks with commonly-used image
augmentation techniques like random crop and horizontal flip. Empirical results
show that the proposed method improves the generalization performance of the
model.
- Abstract（参考訳）: データ拡張は、ディープニューラルネットワークの一般化を改善する効果的なテクニックである。
しかし、従来のデータ拡張手法では、モデルに対する個々の影響を考慮せずに、通常、拡張サンプルを等しく扱う。
これを解決するために、同じトレーニング例からの強化サンプルに対して、異なる重みを割り当てることを提案する。
我々は,拡張標本の任意の重み付け損失に対する上限となる最大期待損失を構成する。
この最大損失(MMEL)を最小限に抑え、より単純で解釈可能な閉形式解を得る: 大きな損失値を持つ増分サンプル(例えば、より難しい例)により多くの注意を払うべきである。
この最大損失を最小限にすることで、モデルは任意の再重み付け戦略の下でうまく機能する。
提案手法は, 一般に任意のデータ拡張法上に適用可能である。
トークンレベルのデータ拡張による自然言語理解タスクと、ランダムな作物や水平フリップといった一般的な画像拡張技術を用いた画像分類タスクの両方で実験を行った。
実験の結果,提案手法はモデルの一般化性能を向上させることがわかった。
関連論文リスト
- Learning Augmentation Policies from A Model Zoo for Time Series Forecasting [58.66211334969299]
本稿では,強化学習に基づく学習可能なデータ拡張手法であるAutoTSAugを紹介する。
限界サンプルを学習可能なポリシーで強化することにより、AutoTSAugは予測性能を大幅に改善する。
論文 参考訳（メタデータ） (2024-09-10T07:34:19Z) - Data Pruning via Moving-one-Sample-out [61.45441981346064]
我々は移動1サンプルアウト(MoSo)と呼ばれる新しいデータ処理手法を提案する。
MoSoは、トレーニングセットから最も分かりにくいサンプルを特定し、削除することを目的としている。
実験結果から,MoSoは高プルーニング比で高い性能劣化を効果的に緩和することが示された。
論文 参考訳（メタデータ） (2023-10-23T08:00:03Z) - ScoreMix: A Scalable Augmentation Strategy for Training GANs with
Limited Data [93.06336507035486]
GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。
ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
論文 参考訳（メタデータ） (2022-10-27T02:55:15Z) - DiscrimLoss: A Universal Loss for Hard Samples and Incorrect Samples
Discrimination [28.599571524763785]
ラベルノイズ(すなわち不正なデータ)が与えられた場合、ディープニューラルネットワークはラベルノイズとモデル性能を徐々に記憶する。
この問題を解消するために,カリキュラム学習を提案し,学習サンプルを有意義な順序で順序付けすることで,モデル性能と一般化を向上させる。
論文 参考訳（メタデータ） (2022-08-21T13:38:55Z) - ReSmooth: Detecting and Utilizing OOD Samples when Training with Data
Augmentation [57.38418881020046]
最近のDA技術は、常に強化トレーニングサンプルの多様性の必要性を満たす。
多様性の高い増分戦略は、通常、アウト・オブ・ディストリビューション(OOD)の増分サンプルを導入する。
ReSmoothは、まず、拡張サンプル中のOODサンプルを検知し、それらを活用するフレームワークである。
論文 参考訳（メタデータ） (2022-05-25T09:29:27Z) - Missingness Augmentation: A General Approach for Improving Generative
Imputation Models [20.245637164975594]
生成的計算モデルのためのMisA(MisA)と呼ばれる新しいデータ拡張手法を提案する。
一般的な拡張技術として、MisAは生成的計算フレームワークに容易に統合できる。
実験結果から、最近提案された多くの生成的計算モデルの性能は、MisAにより大幅に向上することが示された。
論文 参考訳（メタデータ） (2021-07-31T08:51:46Z) - Not Far Away, Not So Close: Sample Efficient Nearest Neighbour Data
Augmentation via MiniMax [7.680863481076596]
MiniMax-kNNは、効率的なデータ拡張戦略のサンプルである。
我々は、知識蒸留に基づく半教師付きアプローチを利用して、拡張データに基づいてモデルを訓練する。
論文 参考訳（メタデータ） (2021-05-28T06:32:32Z) - SapAugment: Learning A Sample Adaptive Policy for Data Augmentation [21.044266725115577]
本稿では,SapAugment のサンプル適応政策を学習するための新しい手法を提案する。
また,LbriSpeechデータセットにおける単語誤り率の21%を,最先端の音声強調法よりも大幅に改善した。
論文 参考訳（メタデータ） (2020-11-02T17:52:26Z) - Self-paced Data Augmentation for Training Neural Networks [11.554821454921536]
本稿では,ニューラルネットワークをトレーニングする際のデータ拡張に適したサンプルを自動的に選択するセルフペース拡張を提案する。
提案手法は,非効率なデータ拡張による一般化性能の低下を緩和する。
実験結果から,SPAは,特にトレーニングサンプル数が少ない場合,一般化性能を向上できることが示された。
論文 参考訳（メタデータ） (2020-10-29T09:13:18Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。