論文の概要: Provable Benefit of Cutout and CutMix for Feature Learning

• arxiv url: http://arxiv.org/abs/2410.23672v1
• Date: Thu, 31 Oct 2024 06:41:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:03:46.870309
• Title: Provable Benefit of Cutout and CutMix for Feature Learning
• Title（参考訳）: 特徴学習のためのカットアウトとカットミクスの確率的便益
• Authors: Junsoo Oh, Chulhee Yun,
• Abstract要約: 本研究では,バニラトレーニング,カットアウトトレーニング,カットミクストレーニングの3つの異なる手法を用いてトレーニングした2層ニューラルネットワークについて検討した。 私たちの定理は、Cutoutトレーニングがバニラトレーニングができない低周波特徴を学習できることを示し、CutMixトレーニングは、Cutoutが取得できない稀な特徴を学習できることを示しています。 我々の新しい分析によると、CutMixのトレーニングにより、ネットワークは全ての特徴やノイズベクターを、希少性や強度に関わらず「均一」に学習することができる。
• 参考スコア（独自算出の注目度）: 11.970409518725493
• License:
• Abstract: Patch-level data augmentation techniques such as Cutout and CutMix have demonstrated significant efficacy in enhancing the performance of vision tasks. However, a comprehensive theoretical understanding of these methods remains elusive. In this paper, we study two-layer neural networks trained using three distinct methods: vanilla training without augmentation, Cutout training, and CutMix training. Our analysis focuses on a feature-noise data model, which consists of several label-dependent features of varying rarity and label-independent noises of differing strengths. Our theorems demonstrate that Cutout training can learn low-frequency features that vanilla training cannot, while CutMix training can learn even rarer features that Cutout cannot capture. From this, we establish that CutMix yields the highest test accuracy among the three. Our novel analysis reveals that CutMix training makes the network learn all features and noise vectors "evenly" regardless of the rarity and strength, which provides an interesting insight into understanding patch-level augmentation.
• Abstract（参考訳）: CutoutやCutMixといったパッチレベルのデータ拡張技術は、視覚タスクの性能向上に有効であることが示されている。 しかし、これらの手法の包括的な理論的理解はいまだ解明されていない。 本稿では,バニラトレーニング,カットアウトトレーニング,カットミクストレーニングという,3つの異なる手法を用いてトレーニングされた2層ニューラルネットワークについて検討する。 本分析では,異なる強度のラベル依存特性と異なる強度のラベル非依存雑音からなる特徴雑音データモデルに焦点をあてる。 私たちの定理は、Cutoutトレーニングがバニラトレーニングができない低周波特徴を学習できることを示し、CutMixトレーニングは、Cutoutが取得できない稀な特徴を学習できることを示しています。 この結果から、CutMixは3つの中で最も高いテスト精度が得られることが判明した。 我々の新しい分析によると、CutMixのトレーニングによってネットワークは、希少性や強度に関わらず、すべての特徴やノイズベクトルを「均一」に学習することができ、パッチレベルの拡張を理解するための興味深い洞察を与えてくれる。

関連論文リスト

• Distribution Shift Matters for Knowledge Distillation with Webly Collected Images [91.66661969598755]
  異なる分布間の知識蒸留という新しい手法を提案する(KD$3$)。 まず,教師ネットワークと学生ネットワークの併用予測に基づいて,Webで収集したデータから有用なトレーニングインスタンスを動的に選択する。 また、MixDistributionと呼ばれる新しいコントラスト学習ブロックを構築して、新しい分散のインスタンスアライメントで摂動データを生成します。
  論文  参考訳（メタデータ） (2023-07-21T10:08:58Z)
• The Benefits of Mixup for Feature Learning [117.93273337740442]
  最初に、機能やラベルに異なる線形パラメータを使用するMixupは、標準Mixupと同様のパフォーマンスが得られることを示す。 我々は、特徴雑音データモデルを検討し、Mixupトレーニングが共通の特徴と組み合わせることで、稀な特徴を効果的に学習できることを示します。 対照的に、標準的なトレーニングは共通の特徴しか学べないが、まれな特徴を学べないため、パフォーマンスが悪くなる。
  論文  参考訳（メタデータ） (2023-03-15T08:11:47Z)
• BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning [93.38239238988719]
  本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。 BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。 我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-03-03T05:31:33Z)
• Self-supervised Transformer for Deepfake Detection [112.81127845409002]
  現実世界のシナリオにおけるディープフェイク技術は、顔偽造検知器のより強力な一般化能力を必要とする。 転送学習に触発されて、他の大規模な顔関連タスクで事前訓練されたニューラルネットワークは、ディープフェイク検出に有用な機能を提供する可能性がある。 本稿では,自己教師型変換器を用いた音声視覚コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-02T17:44:40Z)
• Contrastive-mixup learning for improved speaker verification [17.93491404662201]
  本稿では,話者検証のためのミックスアップによるプロトタイプ損失の新しい定式化を提案する。 Mixupは、ランダムなデータポイントとラベルペアの重み付けを組み合わせた、シンプルだが効率的なデータ拡張技術である。
  論文  参考訳（メタデータ） (2022-02-22T05:09:22Z)
• SMILE: Self-Distilled MIxup for Efficient Transfer LEarning [42.59451803498095]
  本研究では, SMILE-Self-Distilled Mixup for EffIcient Transfer LEarningを提案する。 混合画像を入力として、SMILEはCNN特徴抽出器の出力を正規化し、入力の混合特徴ベクトルから学習する。 トリプルレギュラライザーは、特徴空間とラベル空間の両方で混合効果のバランスをとりながら、前訓練タスクのサンプル間の線形性をバインドします。
  論文  参考訳（メタデータ） (2021-03-25T16:02:21Z)
• Self-Augmentation: Generalizing Deep Networks to Unseen Classes for Few-Shot Learning [21.3564383157159]
  ほとんどショット学習は、未確認のクラスをいくつかのトレーニング例で分類することを目的としている。 自己混合と自己蒸留を統合した自己拡張を提案する。 本稿では,未確認クラスの学習例をさらに活用するために,局所学習者表現を提案する。
  論文  参考訳（メタデータ） (2020-04-01T06:39:08Z)
• Attentive CutMix: An Enhanced Data Augmentation Approach for Deep Learning Based Image Classification [58.20132466198622]
  そこで我々は,CutMixに基づく自然拡張拡張戦略であるAttentive CutMixを提案する。 各トレーニングイテレーションにおいて、特徴抽出器から中間注意マップに基づいて最も記述性の高い領域を選択する。 提案手法は単純かつ有効であり,実装が容易であり,ベースラインを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2020-03-29T15:01:05Z)
• DivideMix: Learning with Noisy Labels as Semi-supervised Learning [111.03364864022261]
  ノイズラベルを学習するためのフレームワークであるDivideMixを提案する。 複数のベンチマークデータセットの実験は、最先端の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2020-02-18T06:20:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。