論文の概要: Does Data Augmentation Benefit from Split BatchNorms

• arxiv url: http://arxiv.org/abs/2010.07810v1
• Date: Thu, 15 Oct 2020 15:00:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 03:24:25.092069
• Title: Does Data Augmentation Benefit from Split BatchNorms
• Title（参考訳）: Split BatchNormによるデータ拡張のメリット
• Authors: Amil Merchant, Barret Zoph, Ekin Dogus Cubuk
• Abstract要約: State-of-the-art data augmentationはトレーニングイメージを強く歪ませ、トレーニング中に見られる例と推論の間に相違をもたらす。 本稿では, 配信外, 強化画像に対する補助的BatchNormを提案する。 この手法により,CIFAR-10,CIFAR-100,ImageNetなどの画像分類ベンチマークの性能が大幅に向上することがわかった。
• 参考スコア（独自算出の注目度）: 29.134017115737507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data augmentation has emerged as a powerful technique for improving the performance of deep neural networks and led to state-of-the-art results in computer vision. However, state-of-the-art data augmentation strongly distorts training images, leading to a disparity between examples seen during training and inference. In this work, we explore a recently proposed training paradigm in order to correct for this disparity: using an auxiliary BatchNorm for the potentially out-of-distribution, strongly augmented images. Our experiments then focus on how to define the BatchNorm parameters that are used at evaluation. To eliminate the train-test disparity, we experiment with using the batch statistics defined by clean training images only, yet surprisingly find that this does not yield improvements in model performance. Instead, we investigate using BatchNorm parameters defined by weak augmentations and find that this method significantly improves the performance of common image classification benchmarks such as CIFAR-10, CIFAR-100, and ImageNet. We then explore a fundamental trade-off between accuracy and robustness coming from using different BatchNorm parameters, providing greater insight into the benefits of data augmentation on model performance.
• Abstract（参考訳）: データ拡張は、ディープニューラルネットワークのパフォーマンスを改善するための強力な技術として現れ、コンピュータビジョンにおける最先端の結果をもたらした。 しかし、最先端のデータ拡張はトレーニングイメージを強く歪め、トレーニング中と推論中に見られる例の相違を招いた。 本研究では,この差を補正するために最近提案されたトレーニングパラダイムについて検討する。 実験では、評価に使用されるBatchNormパラメータの定義方法に焦点を当てた。 列車走行試験の相違を解消するため,クリーントレーニング画像のみによって定義されるバッチ統計を用いて実験を行ったが,モデル性能の改善は得られなかった。 そこで本手法は,CIFAR-10, CIFAR-100, ImageNetなどの一般的な画像分類ベンチマークの性能を大幅に向上させる。 次に、異なるBatchNormパラメータの使用による正確性と堅牢性の間の根本的なトレードオフを検討し、モデルパフォーマンスにおけるデータ拡張のメリットについてより深い洞察を提供する。

関連論文リスト

• Transformer-based Clipped Contrastive Quantization Learning for Unsupervised Image Retrieval [15.982022297570108]
  教師なし画像検索は、与えられたクエリ画像の類似画像を取得するために、任意のレベルなしに重要な視覚的特徴を学習することを目的としている。 本稿では,パッチベースの処理により局所的なコンテキストを持つTransformerを用いて,画像のグローバルコンテキストを符号化するTransClippedCLRモデルを提案する。 提案したクリップ付きコントラスト学習の結果は、バニラコントラスト学習と同一のバックボーンネットワークと比較して、すべてのデータセットで大幅に改善されている。
  論文  参考訳（メタデータ） (2024-01-27T09:39:11Z)
• Image edge enhancement for effective image classification [7.470763273994321]
  ニューラルネットワークの精度とトレーニング速度を両立させるエッジ拡張に基づく手法を提案する。 我々のアプローチは、利用可能なデータセット内の画像からエッジなどの高周波特徴を抽出し、元の画像と融合させることである。
  論文  参考訳（メタデータ） (2024-01-13T10:01:34Z)
• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• Improving Adversarial Robustness of Masked Autoencoders via Test-time Frequency-domain Prompting [133.55037976429088]
  BERTプリトレーニング(BEiT, MAE)を備えた視覚変換器の対向ロバスト性について検討する。 意外な観察は、MAEが他のBERT事前訓練法よりも敵の頑健さが著しく悪いことである。 我々は,MAEの対角的堅牢性を高めるための,シンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-08-20T16:27:17Z)
• Learning to Mask and Permute Visual Tokens for Vision Transformer Pre-Training [59.923672191632065]
  我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。 MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。 以上の結果から,MaPeTはImageNet上での競合性能を実証した。
  論文  参考訳（メタデータ） (2023-06-12T18:12:19Z)
• Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
  微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。 そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-06T11:51:28Z)
• Dynamic Test-Time Augmentation via Differentiable Functions [3.686808512438363]
  DynTTAは、認識モデルを再訓練することなく、認識に優しい画像を生成する画像強調手法である。 DynTTAは、微分可能なデータ拡張技術に基づいて、多くの画像からブレンド画像を生成し、分布シフト時の認識精度を向上させる。
  論文  参考訳（メタデータ） (2022-12-09T06:06:47Z)
• MetaAugment: Sample-Aware Data Augmentation Policy Learning [20.988767360529362]
  我々は、サンプル再重み付け問題として定式化することで、サンプル認識データ拡張ポリシーを効率的に学習する。 拡張ポリシーネットワークは、変換と対応する拡張画像とを入力とし、重みを出力してタスクネットワークで計算された拡張画像損失を調整する。 トレーニング段階では、タスクネットワークは強化訓練画像の重み付け損失を最小限に抑え、ポリシーネットワークはメタラーニングによる検証セット上のタスクネットワークの損失を最小限にする。
  論文  参考訳（メタデータ） (2020-12-22T15:19:27Z)
• Differentiable Augmentation for Data-Efficient GAN Training [48.920992130257595]
  DiffAugmentは,実検体と偽検体の両方に様々な種類の微分可能拡張を付与することにより,GANのデータ効率を向上させる簡易な手法である。 本手法は,既存の移動学習アルゴリズムと同等でありながら,事前学習することなく,100個の画像のみを用いて高忠実度画像を生成することができる。
  論文  参考訳（メタデータ） (2020-06-18T17:59:01Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。