論文の概要: ReSmooth: Detecting and Utilizing OOD Samples when Training with Data Augmentation

• arxiv url: http://arxiv.org/abs/2205.12606v1
• Date: Wed, 25 May 2022 09:29:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-26 15:16:27.336172
• Title: ReSmooth: Detecting and Utilizing OOD Samples when Training with Data Augmentation
• Title（参考訳）: ReSmooth: データ拡張トレーニングにおけるOODサンプルの検出と利用
• Authors: Chenyang Wang, Junjun Jiang, Xiong Zhou, Xianming Liu
• Abstract要約: 最近のDA技術は、常に強化トレーニングサンプルの多様性の必要性を満たす。 多様性の高い増分戦略は、通常、アウト・オブ・ディストリビューション(OOD)の増分サンプルを導入する。 ReSmoothは、まず、拡張サンプル中のOODサンプルを検知し、それらを活用するフレームワークである。
• 参考スコア（独自算出の注目度）: 57.38418881020046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data augmentation (DA) is a widely used technique for enhancing the training of deep neural networks. Recent DA techniques which achieve state-of-the-art performance always meet the need for diversity in augmented training samples. However, an augmentation strategy that has a high diversity usually introduces out-of-distribution (OOD) augmented samples and these samples consequently impair the performance. To alleviate this issue, we propose ReSmooth, a framework that firstly detects OOD samples in augmented samples and then leverages them. To be specific, we first use a Gaussian mixture model to fit the loss distribution of both the original and augmented samples and accordingly split these samples into in-distribution (ID) samples and OOD samples. Then we start a new training where ID and OOD samples are incorporated with different smooth labels. By treating ID samples and OOD samples unequally, we can make better use of the diverse augmented data. Further, we incorporate our ReSmooth framework with negative data augmentation strategies. By properly handling their intentionally created ODD samples, the classification performance of negative data augmentations is largely ameliorated. Experiments on several classification benchmarks show that ReSmooth can be easily extended to existing augmentation strategies (such as RandAugment, rotate, and jigsaw) and improve on them.
• Abstract（参考訳）: データ拡張(DA)は、ディープニューラルネットワークのトレーニングを強化するために広く使われているテクニックである。 最新のDA技術は、常に強化トレーニングサンプルの多様性の必要性を満たす。 しかし、多様性の高い増補戦略は、通常、アウト・オブ・ディストリビューション(OOD)強化サンプルを導入し、その結果、性能を損なう。 この問題を軽減するために,まず拡張サンプル中のoodサンプルを検出し,それを活用したフレームワークresmoothを提案する。 具体的には、まずガウス混合モデルを用いて、原サンプルと増補サンプルの両方の損失分布を一致させ、これらのサンプルを分布内サンプルとOODサンプルに分割する。 次に、IDとOODサンプルを異なるスムーズなラベルで組み込む新しいトレーニングを開始する。 IDサンプルとOODサンプルを不平等に扱うことで、多様な拡張データをよりよく活用することができる。 さらに、当社のReSmoothフレームワークを負のデータ拡張戦略に組み入れています。 意図的に作成したODDサンプルを適切に処理することにより、負のデータ拡張の分類性能を大幅に改善する。 いくつかの分類ベンチマークによる実験では、既存の拡張戦略(randaugment、rotrot、jigsawなど)に容易に拡張でき、それらを改善することができる。

関連論文リスト

• ScoreMix: A Scalable Augmentation Strategy for Training GANs with Limited Data [93.06336507035486]
  GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。 ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
  論文  参考訳（メタデータ） (2022-10-27T02:55:15Z)
• Towards Robust Visual Question Answering: Making the Most of Biased Samples via Contrastive Learning [54.61762276179205]
  我々は,ビザドサンプルを最大限に活用することで,ロバストなVQAモデルを構築するための新しいコントラスト学習手法 MMBS を提案する。 具体的には、元のトレーニングサンプルからスプリアス相関に関連する情報を排除し、比較学習のための正のサンプルを構築する。 我々は,OODデータセットのVQA-CP v2において,IDデータセットのVQA v2上での堅牢なパフォーマンスを維持しながら,競争性能を達成することで,コントリビューションを検証した。
  論文  参考訳（メタデータ） (2022-10-10T11:05:21Z)
• When Chosen Wisely, More Data Is What You Need: A Universal Sample-Efficient Strategy For Data Augmentation [19.569164094496955]
  両問題を克服するために,Glitterと呼ばれる汎用データ拡張(DA)技術を提案する。 Glitterは、敵DAに類似した最大損失を持つ最悪のサンプルのサブセットを適応的に選択する。 GLUEベンチマーク、SQuAD、HellaSwagの3つの広く使われているトレーニング設定実験により、Glitterはトレーニングが大幅に速く、競争性能が向上していることが明らかとなった。
  論文  参考訳（メタデータ） (2022-03-17T15:33:52Z)
• Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated Label Mixing [104.630875328668]
  ミックスアップスキームは、強化されたトレーニングサンプルを作成するために、サンプルのペアを混ぜることを提案する。 両世界のベストを捉えた、斬新だがシンプルなミックスアップ版を提示する。
  論文  参考訳（メタデータ） (2021-12-16T11:27:48Z)
• SelectAugment: Hierarchical Deterministic Sample Selection for Data Augmentation [72.58308581812149]
  そこで我々は,SelectAugmentと呼ばれる効果的な手法を提案し,決定論的かつオンラインに拡張するサンプルを選択する。 具体的には、各バッチにおいて、まず増分比率を決定し、次にこの比で各トレーニングサンプルを増分するかを決定する。 これにより、サンプルを増量する際のランダム性による負の効果を効果的に軽減し、DAの有効性を向上させることができる。
  論文  参考訳（メタデータ） (2021-12-06T08:38:38Z)
• On The Consistency Training for Open-Set Semi-Supervised Learning [44.046578996049654]
  我々は,OODサンプルが低次元空間と高次元空間のトレーニングに与える影響について検討した。 提案手法はOODサンプルをよりよく利用し,最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-01-19T12:38:17Z)
• Bridging In- and Out-of-distribution Samples for Their Better Discriminability [18.84265231678354]
  2つの中間に位置するサンプルを考慮し、それらをネットワークのトレーニングに使用する。 我々は複数の画像変換を用いて、様々な方法で入力を破損させ、重大度レベルが異なるようなサンプルを生成する。 クリーンなIDサンプルをトレーニングしたネットワークを用いて,単一の画像変換によって生成されたサンプルが,IDとOODの間にどこにあるかを推定する。
  論文  参考訳（メタデータ） (2021-01-07T11:34:18Z)
• One for More: Selecting Generalizable Samples for Generalizable ReID Model [92.40951770273972]
  本稿では,選択したサンプルを損失関数として一般化する1対3の学習目標を提案する。 提案した1対3のサンプルは,ReIDトレーニングフレームワークにシームレスに統合できる。
  論文  参考訳（メタデータ） (2020-12-10T06:37:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。