論文の概要: Drawing Multiple Augmentation Samples Per Image During Training
Efficiently Decreases Test Error
- arxiv url: http://arxiv.org/abs/2105.13343v1
- Date: Thu, 27 May 2021 17:51:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-28 16:33:27.254204
- Title: Drawing Multiple Augmentation Samples Per Image During Training
Efficiently Decreases Test Error
- Title（参考訳）: テストエラーを効果的に低減するトレーニング中の画像当たりの複数拡張サンプルの描画
- Authors: Stanislav Fort, Andrew Brock, Razvan Pascanu, Soham De, Samuel L.
Smith
- Abstract要約: コンピュータビジョンでは、ミニバッチ内の各ユニークな画像に対して、データ拡張手順から1つのサンプルを描くのが一般的である。
画像毎に複数のサンプルを描画することで、小規模および大規模バッチトレーニングにおいて達成されるテスト精度が一貫して向上することがわかった。
- 参考スコア（独自算出の注目度）: 40.775934631782654
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In computer vision, it is standard practice to draw a single sample from the
data augmentation procedure for each unique image in the mini-batch, however it
is not clear whether this choice is optimal for generalization. In this work,
we provide a detailed empirical evaluation of how the number of augmentation
samples per unique image influences performance on held out data. Remarkably,
we find that drawing multiple samples per image consistently enhances the test
accuracy achieved for both small and large batch training, despite reducing the
number of unique training examples in each mini-batch. This benefit arises even
when different augmentation multiplicities perform the same number of parameter
updates and gradient evaluations. Our results suggest that, although the
variance in the gradient estimate arising from subsampling the dataset has an
implicit regularization benefit, the variance which arises from the data
augmentation process harms test accuracy. By applying augmentation multiplicity
to the recently proposed NFNet model family, we achieve a new ImageNet state of
the art of 86.8$\%$ top-1 w/o extra data.
- Abstract（参考訳）: コンピュータビジョンでは、ミニバッチ内の各ユニークな画像に対して、データ拡張手順から1つのサンプルを描くのが一般的であるが、この選択が一般化に最適かどうかは不明である。
本研究では,一意画像当たりの増補サンプルの数が保持データの性能に与える影響について,実験的な評価を行う。
注目すべきは、画像毎に複数のサンプルを描画することで、各ミニバッチにおけるユニークなトレーニング例の数を減らしながら、小さなバッチトレーニングと大規模なバッチトレーニングの両方で達成されたテスト精度が一貫して向上することである。
この利点は、異なる拡張乗算が同じ数のパラメータ更新と勾配評価を実行しても生じる。
その結果,データセットのサブサンプリングによる勾配推定のばらつきは暗黙の正規化効果を持つものの,データ拡張過程から生じるばらつきはテスト精度を損なうことが示唆された。
最近提案されたNFNetモデルファミリに増乗乗法を適用することで、86.8$\%$ top-1 w/o余剰データの新たなImageNet状態を実現する。
関連論文リスト
- Data Pruning via Moving-one-Sample-out [61.45441981346064]
我々は移動1サンプルアウト(MoSo)と呼ばれる新しいデータ処理手法を提案する。
MoSoは、トレーニングセットから最も分かりにくいサンプルを特定し、削除することを目的としている。
実験結果から,MoSoは高プルーニング比で高い性能劣化を効果的に緩和することが示された。
論文 参考訳（メタデータ） (2023-10-23T08:00:03Z) - On the Efficacy of Multi-scale Data Samplers for Vision Applications [32.13488876863029]
マルチスケールサンプルは暗黙的なデータ正規化器として動作し、トレーニング速度を加速することを示す。
マルチスケールのバラエティ・バッチ・サンプリングを簡単なカリキュラムで拡張し、トレーニングを通して徐々に解像度を向上する。
論文 参考訳（メタデータ） (2023-09-08T04:29:50Z) - ScoreMix: A Scalable Augmentation Strategy for Training GANs with
Limited Data [93.06336507035486]
GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。
ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
論文 参考訳（メタデータ） (2022-10-27T02:55:15Z) - Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated
Label Mixing [104.630875328668]
ミックスアップスキームは、強化されたトレーニングサンプルを作成するために、サンプルのペアを混ぜることを提案する。
両世界のベストを捉えた、斬新だがシンプルなミックスアップ版を提示する。
論文 参考訳（メタデータ） (2021-12-16T11:27:48Z) - SelectAugment: Hierarchical Deterministic Sample Selection for Data
Augmentation [72.58308581812149]
そこで我々は,SelectAugmentと呼ばれる効果的な手法を提案し,決定論的かつオンラインに拡張するサンプルを選択する。
具体的には、各バッチにおいて、まず増分比率を決定し、次にこの比で各トレーニングサンプルを増分するかを決定する。
これにより、サンプルを増量する際のランダム性による負の効果を効果的に軽減し、DAの有効性を向上させることができる。
論文 参考訳（メタデータ） (2021-12-06T08:38:38Z) - Sample selection for efficient image annotation [14.695979686066066]
監視対象検出は、人間レベルのパフォーマンスを達成する多くのベンチマークデータセットで成功したことが証明されている。
ラベルなしデータセットから最も有益な画像をサンプリングする効率的な画像選択手法を提案する。
本手法は,完全な手動ラベリング設定と比較して,手動アノテーション作業の最大80%を削減でき,ランダムサンプリングよりも優れた性能を発揮する。
論文 参考訳（メタデータ） (2021-05-10T21:25:10Z) - MetaAugment: Sample-Aware Data Augmentation Policy Learning [20.988767360529362]
我々は、サンプル再重み付け問題として定式化することで、サンプル認識データ拡張ポリシーを効率的に学習する。
拡張ポリシーネットワークは、変換と対応する拡張画像とを入力とし、重みを出力してタスクネットワークで計算された拡張画像損失を調整する。
トレーニング段階では、タスクネットワークは強化訓練画像の重み付け損失を最小限に抑え、ポリシーネットワークはメタラーニングによる検証セット上のタスクネットワークの損失を最小限にする。
論文 参考訳（メタデータ） (2020-12-22T15:19:27Z) - Informative Sample Mining Network for Multi-Domain Image-to-Image
Translation [101.01649070998532]
本稿では,画像から画像への翻訳作業において,サンプル選択戦略の改善が有効であることを示す。
本稿では,サンプルの硬さを抑えつつ,サンプルの硬さを抑えるための新しい多段階サンプルトレーニング手法を提案する。
論文 参考訳（メタデータ） (2020-01-05T05:48:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。