論文の概要: Augmentation-induced Consistency Regularization for Classification
- arxiv url: http://arxiv.org/abs/2205.12461v2
- Date: Thu, 26 May 2022 06:12:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-27 10:36:00.361485
- Title: Augmentation-induced Consistency Regularization for Classification
- Title(参考訳): 拡張誘起一貫性規則化による分類
- Authors: Jianhan Wu, Shijing Si, Jianzong Wang, Jing Xiao
- Abstract要約: 我々はCR-Augと呼ばれるデータ拡張に基づく一貫性の規則化フレームワークを提案する。
CR-Augは、データ拡張によって生成された異なるサブモデルの出力分布を互いに整合するように強制する。
画像と音声の分類タスクにCR-Augを実装し、その有効性を検証するために広範な実験を行う。
- 参考スコア(独自算出の注目度): 25.388324221293203
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks have become popular in many supervised learning tasks,
but they may suffer from overfitting when the training dataset is limited. To
mitigate this, many researchers use data augmentation, which is a widely used
and effective method for increasing the variety of datasets. However, the
randomness introduced by data augmentation causes inevitable inconsistency
between training and inference, which leads to poor improvement. In this paper,
we propose a consistency regularization framework based on data augmentation,
called CR-Aug, which forces the output distributions of different sub models
generated by data augmentation to be consistent with each other. Specifically,
CR-Aug evaluates the discrepancy between the output distributions of two
augmented versions of each sample, and it utilizes a stop-gradient operation to
minimize the consistency loss. We implement CR-Aug to image and audio
classification tasks and conduct extensive experiments to verify its
effectiveness in improving the generalization ability of classifiers. Our
CR-Aug framework is ready-to-use, it can be easily adapted to many
state-of-the-art network architectures. Our empirical results show that CR-Aug
outperforms baseline methods by a significant margin.
- Abstract(参考訳): ディープニューラルネットワークは多くの教師付き学習タスクで人気になっているが、トレーニングデータセットが制限された場合、過度に適合する。
これを軽減するために、多くの研究者がデータ拡張(data augmentation)を使用しており、これは多種多様なデータセットを増やすために広く使われ、効果的な方法である。
しかし、データ拡張によって引き起こされるランダム性は、トレーニングと推論の矛盾を必然的に生み出すため、改善は不十分である。
本稿では,データ拡張によって生成された異なるサブモデルの出力分布を相互に一貫性を持たせるために,cr-augと呼ばれるデータ拡張に基づく一貫性規則化フレームワークを提案する。
具体的には、CR-Augは、各サンプルの2つの拡張バージョンの出力分布の相違を評価し、一貫性損失を最小限に抑えるために停止段階演算を利用する。
画像および音声の分類タスクにCR-Augを実装し,その有効性を検証し,分類器の一般化能力を向上させる。
私たちのCR-Augフレームワークは使いやすく、多くの最先端のネットワークアーキテクチャに容易に適用できます。
実験の結果,CR-Augはベースライン法よりも有意に優れていた。
関連論文リスト
- Control+Shift: Generating Controllable Distribution Shifts [1.3060023718506917]
本稿では,デコーダに基づく生成モデルを用いて,分布シフトを伴う現実的なデータセットを生成する手法を提案する。
提案手法は,分散シフトの強度の異なるデータセットを体系的に生成し,モデル性能劣化の包括的解析を容易にする。
論文 参考訳(メタデータ) (2024-09-12T11:07:53Z) - EntAugment: Entropy-Driven Adaptive Data Augmentation Framework for Image Classification [10.334396596691048]
チューニング不要かつ適応的なDAフレームワークであるEntAugmentを提案する。
トレーニング中の各サンプルの増大度を動的に評価し、調整する。
また、EntAugmentアプローチを補完する新しいエントロピー正規化項EntLossを導入する。
論文 参考訳(メタデータ) (2024-09-10T07:42:47Z) - AdaAugment: A Tuning-Free and Adaptive Approach to Enhance Data Augmentation [12.697608744311122]
AdaAugmentは、チューニング不要なAdaptive Augmentationメソッドである。
対象ネットワークからのリアルタイムフィードバックに基づいて、個別のトレーニングサンプルの増大度を動的に調整する。
優れた効率を保ちながら、他の最先端のDAメソッドの効率を一貫して上回ります。
論文 参考訳(メタデータ) (2024-05-19T06:54:03Z) - DualAug: Exploiting Additional Heavy Augmentation with OOD Data
Rejection [77.6648187359111]
そこで本稿では,textbfDualAug という新しいデータ拡張手法を提案する。
教師付き画像分類ベンチマークの実験では、DualAugは様々な自動データ拡張法を改善している。
論文 参考訳(メタデータ) (2023-10-12T08:55:10Z) - Disentangled Contrastive Collaborative Filtering [36.400303346450514]
グラフコントラスト学習(GCL)は、監督ラベル不足問題に対処する上で、強力な性能を示した。
本稿では,自己監督型拡張による意図的ゆがみを実現するために,DCCF(Disentangled Contrasative Collaborative Filtering framework)を提案する。
我々のDCCFは、絡み合った自己超越信号からより微細な潜伏因子を蒸留できるだけでなく、増大による騒音を軽減することができる。
論文 参考訳(メタデータ) (2023-05-04T11:53:38Z) - Implicit Counterfactual Data Augmentation for Robust Learning [24.795542869249154]
本研究では, 突発的相関を除去し, 安定した予測を行うために, インプリシト・カウンセショナル・データ拡張法を提案する。
画像とテキストのデータセットをカバーする様々なバイアス付き学習シナリオで実験が行われてきた。
論文 参考訳(メタデータ) (2023-04-26T10:36:40Z) - ScoreMix: A Scalable Augmentation Strategy for Training GANs with
Limited Data [93.06336507035486]
GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。
ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
論文 参考訳(メタデータ) (2022-10-27T02:55:15Z) - Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。
実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
論文 参考訳(メタデータ) (2021-12-10T20:46:13Z) - Adversarial Feature Augmentation and Normalization for Visual
Recognition [109.6834687220478]
最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。
本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。
代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
論文 参考訳(メタデータ) (2021-03-22T20:36:34Z) - Negative Data Augmentation [127.28042046152954]
負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。
我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。
実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
論文 参考訳(メタデータ) (2021-02-09T20:28:35Z) - When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である
本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。
ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
論文 参考訳(メタデータ) (2020-02-24T11:35:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。