論文の概要: A Unified Analysis of Mixed Sample Data Augmentation: A Loss Function Perspective

• arxiv url: http://arxiv.org/abs/2208.09913v1
• Date: Sun, 21 Aug 2022 15:54:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-23 12:42:53.434693
• Title: A Unified Analysis of Mixed Sample Data Augmentation: A Loss Function Perspective
• Title（参考訳）: 混合サンプルデータ拡張の統一的解析:損失関数の観点から
• Authors: Chanwoo Park and Sangdoo Yun and Sanghyuk Chun
• Abstract要約: 混合サンプルデータ拡張(MSDA)の最初の統一的理論解析を提案する。 理論的結果から,MSDAは混合戦略の選択によらず,基礎となるトレーニング損失の画素レベルの正則化として振る舞うことが示唆された。 私たちの実装はMixupとCutMixの利点を活用できますが、実装は非常に効率的です。
• 参考スコア（独自算出の注目度）: 24.33244008451489
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose the first unified theoretical analysis of mixed sample data augmentation (MSDA), such as Mixup and CutMix. Our theoretical results show that regardless of the choice of the mixing strategy, MSDA behaves as a pixel-level regularization of the underlying training loss and a regularization of the first layer parameters. Similarly, our theoretical results support that the MSDA training strategy can improve adversarial robustness and generalization compared to the vanilla training strategy. Using the theoretical results, we provide a high-level understanding of how different design choices of MSDA work differently. For example, we show that the most popular MSDA methods, Mixup and CutMix, behave differently, e.g., CutMix regularizes the input gradients by pixel distances, while Mixup regularizes the input gradients regardless of pixel distances. Our theoretical results also show that the optimal MSDA strategy depends on tasks, datasets, or model parameters. From these observations, we propose generalized MSDAs, a Hybrid version of Mixup and CutMix (HMix) and Gaussian Mixup (GMix), simple extensions of Mixup and CutMix. Our implementation can leverage the advantages of Mixup and CutMix, while our implementation is very efficient, and the computation cost is almost neglectable as Mixup and CutMix. Our empirical study shows that our HMix and GMix outperform the previous state-of-the-art MSDA methods in CIFAR-100 and ImageNet classification tasks. Source code is available at https://github.com/naver-ai/hmix-gmix
• Abstract（参考訳）: 本研究では,mixup や cutmix などの混合サンプルデータ拡張 (msda) に関する最初の統一的理論解析を提案する。 その結果,MSDAは混合戦略の選択によらず,基礎となるトレーニング損失の画素レベルの正規化と第1層のパラメータの正規化として振る舞うことがわかった。 同様に,我々は,msdaのトレーニング戦略がバニラのトレーニング戦略と比較して,敵対的ロバスト性と一般化を改善できることを理論的に支持する。 理論的結果を用いて,MSDAの異なる設計選択がどう機能するかを高レベルに理解する。 例えば、最も人気のあるmsdaメソッドであるmixupとcutmixは異なる振る舞いをする。例えば、cutmixはピクセル距離によって入力勾配を規則化し、mixupはピクセル距離に関係なく入力勾配を規則化する。 また, 最適msda戦略はタスクやデータセット, モデルパラメータに依存することを示した。 これらの観測結果から,Mix と CutMix のハイブリッド版である MSDA と,Mix と CutMix の単純な拡張である Gaussian Mixup (GMix) を提案する。 われわれの実装はmixupとcutmixの利点を活用できるが、その実装は非常に効率的であり、計算コストはmixupやcutmixのように無視できる。 我々のHMixとGMixは、CIFAR-100とImageNetの分類タスクにおいて、これまでの最先端のMSDA手法よりも優れていた。 ソースコードはhttps://github.com/naver-ai/hmix-gmixで入手できる。

関連論文リスト

• SUMix: Mixup with Semantic and Uncertain Information [41.99721365685618]
  混合データ拡張アプローチは、ディープラーニングの様々なタスクに応用されている。 そこで我々は,SUMix という新しい手法を提案し,混合率と混合試料の不確かさを学習する。
  論文  参考訳（メタデータ） (2024-07-10T16:25:26Z)
• PowMix: A Versatile Regularizer for Multimodal Sentiment Analysis [71.8946280170493]
  本稿では,単相混合型正規化手法の強みを生かした汎用な埋め込み空間正規化器であるPowMixを紹介する。 PowMixはマルチモーダルアーキテクチャの融合段階の前に統合され、テキストとテキストを混合するなどのモダル内混合を容易にし、レギュレータとして機能する。
  論文  参考訳（メタデータ） (2023-12-19T17:01:58Z)
• The Benefits of Mixup for Feature Learning [117.93273337740442]
  最初に、機能やラベルに異なる線形パラメータを使用するMixupは、標準Mixupと同様のパフォーマンスが得られることを示す。 我々は、特徴雑音データモデルを検討し、Mixupトレーニングが共通の特徴と組み合わせることで、稀な特徴を効果的に学習できることを示します。 対照的に、標準的なトレーニングは共通の特徴しか学べないが、まれな特徴を学べないため、パフォーマンスが悪くなる。
  論文  参考訳（メタデータ） (2023-03-15T08:11:47Z)
• MixupE: Understanding and Improving Mixup from Directional Derivative Perspective [86.06981860668424]
  理論上は、バニラ・ミックスアップよりも優れた一般化性能を実現するために、Mixupの改良版を提案する。 提案手法は,様々なアーキテクチャを用いて,複数のデータセットにまたがるMixupを改善した。
  論文  参考訳（メタデータ） (2022-12-27T07:03:52Z)
• SMMix: Self-Motivated Image Mixing for Vision Transformers [65.809376136455]
  CutMixは視覚変換器(ViT)の性能と一般化能力を決定する重要な拡張戦略である 既存のCutMixの変種は、より一貫性のある混合画像やより正確な混合ラベルを生成することでこの問題に対処している。 本稿では,学習モデルによる画像とラベルの強調を動機づける,効率的かつ効果的な自己運動画像混合法を提案する。
  論文  参考訳（メタデータ） (2022-12-26T00:19:39Z)
• C-Mixup: Improving Generalization in Regression [71.10418219781575]
  混合アルゴリズムは、一対の例とその対応するラベルを線形補間することによって一般化を改善する。 ラベルの類似度に基づいてサンプリング確率を調整するC-Mixupを提案する。 C-Mixupは6.56%、4.76%、5.82%の改善、タスクの一般化、アウト・オブ・ディストリビューションの堅牢性を実現している。
  論文  参考訳（メタデータ） (2022-10-11T20:39:38Z)
• Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
  Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。 本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。 DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
  論文  参考訳（メタデータ） (2022-03-21T07:12:18Z)
• MixMix: All You Need for Data-Free Compression Are Feature and Data Mixing [30.14401315979937]
  一般化可能性と不正確な逆転の難しさを克服するために、MixMixを提案する。 理論的および経験的両面からMixMixの有効性を実証する。 MixMixは、既存のデータフリー圧縮作業と比較して、量子化とプルーニングで最大4%と20%の精度アップリフトを達成する。
  論文  参考訳（メタデータ） (2020-11-19T15:33:43Z)
• FMix: Enhancing Mixed Sample Data Augmentation [5.820517596386667]
  近年,Mixed Sample Data Augmentation (MSDA) が注目されている。 ここでは、MixUpがCutMixのように学習した関数を歪めていることを示す。 低周波画像にしきい値を適用したランダムなバイナリマスクを用いたMSDAであるFMixを提案する。
  論文  参考訳（メタデータ） (2020-02-27T11:46:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。