論文の概要: Towards Understanding Why Data Augmentation Improves Generalization

• arxiv url: http://arxiv.org/abs/2502.08940v1
• Date: Thu, 13 Feb 2025 03:41:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:50:52.893419
• Title: Towards Understanding Why Data Augmentation Improves Generalization
• Title（参考訳）: データ拡張が一般化を改善する理由の理解に向けて
• Authors: Jingyang Li, Jiachun Pan, Kim-Chuan Toh, Pan Zhou,
• Abstract要約: 本稿では,データ拡張が2つの重要な効果を通じて一般化を促進する方法を明らかにする統一理論フレームワークを提案する。 部分的意味的特徴除去は、モデルの個々の特徴への依存を減らし、多様な特徴学習を促進し、より一般化する。 オリジナルのセマンティック機能をスケールダウンしてノイズを導入することで、機能混在はトレーニングの複雑さを高め、より堅牢な機能を開発するためにモデルを駆動する。
• 参考スコア（独自算出の注目度）: 59.26137687216215
• License:
• Abstract: Data augmentation is a cornerstone technique in deep learning, widely used to improve model generalization. Traditional methods like random cropping and color jittering, as well as advanced techniques such as CutOut, Mixup, and CutMix, have achieved notable success across various domains. However, the mechanisms by which data augmentation improves generalization remain poorly understood, and existing theoretical analyses typically focus on individual techniques without a unified explanation. In this work, we present a unified theoretical framework that elucidates how data augmentation enhances generalization through two key effects: partial semantic feature removal and feature mixing. Partial semantic feature removal reduces the model's reliance on individual feature, promoting diverse feature learning and better generalization. Feature mixing, by scaling down original semantic features and introducing noise, increases training complexity, driving the model to develop more robust features. Advanced methods like CutMix integrate both effects, achieving complementary benefits. Our theoretical insights are further supported by experimental results, validating the effectiveness of this unified perspective.
• Abstract（参考訳）: データ拡張はディープラーニングの基盤となる技術であり、モデル一般化を改善するために広く利用されている。 ランダムトリミングやカラージッタリングといった伝統的な手法や、CutOut、Mixup、CutMixといった先進的な手法は、様々な領域で顕著な成功を収めている。 しかし、データ拡張によって一般化が向上するメカニズムはいまだよく理解されておらず、既存の理論分析は統一的な説明なしに個々の技術に焦点を当てることが多い。 本研究では,部分的意味的特徴除去と特徴混合という2つの重要な効果を通じて,データ拡張が一般化を促進する方法を明らかにする統一理論フレームワークを提案する。 部分的意味的特徴除去は、モデルの個々の特徴への依存を減らし、多様な特徴学習を促進し、より一般化する。 オリジナルのセマンティック機能をスケールダウンしてノイズを導入することで、機能混在はトレーニングの複雑さを高め、より堅牢な機能を開発するためにモデルを駆動する。 CutMixのような高度なメソッドは両方のエフェクトを統合し、補完的な利益を達成する。 我々の理論的な洞察は実験結果によってさらに支持され、この統合された視点の有効性が検証される。

関連論文リスト

• Feature Augmentation for Self-supervised Contrastive Learning: A Closer Look [28.350278251132078]
  本稿では,機能拡張(Feature Augmentation)として知られる機能空間でデータ拡張を行う統一フレームワークを提案する。 この戦略はドメインに依存しないため、元のものと同様の機能が追加され、データの多様性が向上する。
  論文  参考訳（メタデータ） (2024-10-16T09:25:11Z)
• Boosting Model Resilience via Implicit Adversarial Data Augmentation [20.768174896574916]
  本稿では, 対向性および対向性摂動分布を組み込むことにより, 試料の深い特性を増大させることを提案する。 そして、この拡張過程が代理損失関数の最適化に近似することを理論的に明らかにする。 我々は4つの共通のバイアス付き学習シナリオにまたがって広範な実験を行う。
  論文  参考訳（メタデータ） (2024-04-25T03:22:48Z)
• The Benefits of Mixup for Feature Learning [117.93273337740442]
  最初に、機能やラベルに異なる線形パラメータを使用するMixupは、標準Mixupと同様のパフォーマンスが得られることを示す。 我々は、特徴雑音データモデルを検討し、Mixupトレーニングが共通の特徴と組み合わせることで、稀な特徴を効果的に学習できることを示します。 対照的に、標準的なトレーニングは共通の特徴しか学べないが、まれな特徴を学べないため、パフォーマンスが悪くなる。
  論文  参考訳（メタデータ） (2023-03-15T08:11:47Z)
• MixupE: Understanding and Improving Mixup from Directional Derivative Perspective [86.06981860668424]
  理論上は、バニラ・ミックスアップよりも優れた一般化性能を実現するために、Mixupの改良版を提案する。 提案手法は,様々なアーキテクチャを用いて,複数のデータセットにまたがるMixupを改善した。
  論文  参考訳（メタデータ） (2022-12-27T07:03:52Z)
• The good, the bad and the ugly sides of data augmentation: An implicit spectral regularization perspective [14.229855423083922]
  データ拡張(DA)は、現代の機械学習のパフォーマンス向上のための強力なワークホースである。 本研究では,DAの一般クラスが一般化に与える影響を特徴付ける新しい理論的枠組みを開発する。 本フレームワークは,DAの一般化に対する微妙な影響と,時として驚くべき影響を強調し,新しい拡張設計のためのテストベッドとして機能する。
  論文  参考訳（メタデータ） (2022-10-10T21:30:46Z)
• GCISG: Guided Causal Invariant Learning for Improved Syn-to-real Generalization [1.2215956380648065]
  人工的に生成されたデータを用いたディープラーニングモデルのトレーニングは、トレーニングデータが不足している場合の代替となる可能性がある。 本稿では,データ生成のための因果的枠組みを用いて,領域ギャップを特徴付ける。 そこで本研究では,構文から現実への一般化を促進するスタイル不変表現の学習をモデルに促す因果不変学習を提案する。
  論文  参考訳（メタデータ） (2022-08-22T02:39:05Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
  適応的階層的類似度メトリック学習法を提案する。 ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。 提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-10-29T02:12:18Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)
• Affinity and Diversity: Quantifying Mechanisms of Data Augmentation [25.384464387734802]
  親和性と多様性(Affinity and Diversity)。 拡張性能は,いずれか単独で予測されるのではなく,共同最適化によって予測される。
  論文  参考訳（メタデータ） (2020-02-20T19:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。