論文の概要: How Does Mixup Help With Robustness and Generalization?
- arxiv url: http://arxiv.org/abs/2010.04819v4
- Date: Wed, 17 Mar 2021 19:43:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 04:49:05.079472
- Title: How Does Mixup Help With Robustness and Generalization?
- Title（参考訳）: 混成はロバストさと一般化にどのように役立つか
- Authors: Linjun Zhang, Zhun Deng, Kenji Kawaguchi, Amirata Ghorbani, James Zou
- Abstract要約: トレーニングにおけるMixupの使用は、堅牢性と一般化のモデル化にどのように役立つかを示す。
強靭性については, 混合損失の最小化は, 対向損失の上限をほぼ最小化することを示す。
一般化のために、Mixupの拡張は、オーバーフィッティングを減らすデータ適応正規化の特定のタイプに対応することを証明した。
- 参考スコア（独自算出の注目度）: 41.58255103170875
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixup is a popular data augmentation technique based on taking convex
combinations of pairs of examples and their labels. This simple technique has
been shown to substantially improve both the robustness and the generalization
of the trained model. However, it is not well-understood why such improvement
occurs. In this paper, we provide theoretical analysis to demonstrate how using
Mixup in training helps model robustness and generalization. For robustness, we
show that minimizing the Mixup loss corresponds to approximately minimizing an
upper bound of the adversarial loss. This explains why models obtained by Mixup
training exhibits robustness to several kinds of adversarial attacks such as
Fast Gradient Sign Method (FGSM). For generalization, we prove that Mixup
augmentation corresponds to a specific type of data-adaptive regularization
which reduces overfitting. Our analysis provides new insights and a framework
to understand Mixup.
- Abstract（参考訳）: Mixupは、サンプルのペアとそのラベルの凸組み合わせをベースとした、一般的なデータ拡張テクニックである。
この単純な手法は、訓練されたモデルの堅牢性と一般化の両方を大幅に改善することが示されている。
しかし、なぜこのような改善が行われたのかはよく分かっていない。
本稿では,トレーニングにおけるmixupの使用がモデルのロバスト性と一般化にどのように役立つかを理論的に示す。
強靭性については,混合損失の最小化は,対向損失の上限をほぼ最小化することを示す。
このことは、Mixupトレーニングによって得られたモデルがFast Gradient Sign Method (FGSM)のようないくつかの種類の敵攻撃に対して堅牢性を示す理由を説明する。
一般化のために、Mixupの拡張は、オーバーフィッティングを減らすデータ適応正規化の特定のタイプに対応することを証明した。
私たちの分析は、Mixupを理解するための新しい洞察とフレームワークを提供します。
関連論文リスト
- Selective Mixup Helps with Distribution Shifts, But Not (Only) because
of Mixup [26.105340203096596]
本研究では,ペアの非ランダム選択がトレーニング分布に影響を及ぼし,混合とは無関係な手段による一般化が向上することを示す。
選択混合法と再サンプリング法という2つの手法の間に新しい等価性を見出した。
論文 参考訳（メタデータ） (2023-05-26T10:56:22Z) - The Benefits of Mixup for Feature Learning [117.93273337740442]
最初に、機能やラベルに異なる線形パラメータを使用するMixupは、標準Mixupと同様のパフォーマンスが得られることを示す。
我々は、特徴雑音データモデルを検討し、Mixupトレーニングが共通の特徴と組み合わせることで、稀な特徴を効果的に学習できることを示します。
対照的に、標準的なトレーニングは共通の特徴しか学べないが、まれな特徴を学べないため、パフォーマンスが悪くなる。
論文 参考訳（メタデータ） (2023-03-15T08:11:47Z) - Over-training with Mixup May Hurt Generalization [32.64382185990981]
今回,Mixupトレーニングの既往の現象を報告する。
多くの標準データセットにおいて、Mixupトレーニングモデルの性能は、多くのエポックのトレーニング後に低下し始めます。
理論的には、Mixupトレーニングは、不要なデータ依存ラベルノイズを合成データに導入する可能性がある。
論文 参考訳（メタデータ） (2023-03-02T18:37:34Z) - MixupE: Understanding and Improving Mixup from Directional Derivative
Perspective [86.06981860668424]
理論上は、バニラ・ミックスアップよりも優れた一般化性能を実現するために、Mixupの改良版を提案する。
提案手法は,様々なアーキテクチャを用いて,複数のデータセットにまたがるMixupを改善した。
論文 参考訳（メタデータ） (2022-12-27T07:03:52Z) - C-Mixup: Improving Generalization in Regression [71.10418219781575]
混合アルゴリズムは、一対の例とその対応するラベルを線形補間することによって一般化を改善する。
ラベルの類似度に基づいてサンプリング確率を調整するC-Mixupを提案する。
C-Mixupは6.56%、4.76%、5.82%の改善、タスクの一般化、アウト・オブ・ディストリビューションの堅牢性を実現している。
論文 参考訳（メタデータ） (2022-10-11T20:39:38Z) - RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and
Out Distribution Robustness [94.69774317059122]
学習目的として使うのではなく、標準のクロスエントロピー損失に対する追加の正則化剤として利用すれば、良好なミックスアップの有効性がさらに向上できることが示される。
この単純な変更は、精度を大幅に改善するだけでなく、Mixupの予測不確実性推定の品質を大幅に改善する。
論文 参考訳（メタデータ） (2022-06-29T09:44:33Z) - Towards Compositional Adversarial Robustness: Generalizing Adversarial
Training to Composite Semantic Perturbations [70.05004034081377]
まず,合成逆数例を生成する新しい手法を提案する。
本手法は, コンポーネントワイド射影勾配勾配を利用して最適攻撃組成を求める。
次に,モデルロバスト性を$ell_p$-ballから複合意味摂動へ拡張するための一般化逆トレーニング(GAT)を提案する。
論文 参考訳（メタデータ） (2022-02-09T02:41:56Z) - Towards Understanding the Data Dependency of Mixup-style Training [14.803285140800542]
Mixupトレーニングパラダイムでは、データポイントと関連するラベルの凸組み合わせを使用してモデルをトレーニングする。
トレーニング中に真のデータポイントはほとんどないが、Mixupを使ってトレーニングされたモデルは、元の経験的リスクを最小限に抑えているようだ。
線形モデルと線形分離可能なデータセットの大規模なクラスでは、Mixupトレーニングは標準トレーニングと同じ分類器を学習する。
論文 参考訳（メタデータ） (2021-10-14T18:13:57Z) - On Mixup Regularization [16.748910388577308]
Mixupは、トレーニングポイントとラベルの凸組み合わせとして新しい例を作成するデータ拡張テクニックである。
そこで本研究では、Mixupの新しい解釈のランダムな摂動が、複数の既知の正規化スキームを誘導することを示す。
論文 参考訳（メタデータ） (2020-06-10T20:11:46Z) - Adversarial Vertex Mixup: Toward Better Adversarially Robust
Generalization [28.072758856453106]
逆の例は、ニューラルネットワークに高い信頼性で誤った出力を発生させる。
我々は、敵対的訓練が、強固な一般化の観点から最適点をオーバーシュートし、AFO(Adversarial Feature Overfitting)につながることを示す。
本稿では,ソフトラベル付きデータ拡張手法としてAdversarial Vertex Mixup (AVmixup)を提案する。
論文 参考訳（メタデータ） (2020-03-05T08:47:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。