論文の概要: On Mixup Regularization

• arxiv url: http://arxiv.org/abs/2006.06049v3
• Date: Mon, 17 Oct 2022 10:04:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 04:47:49.476400
• Title: On Mixup Regularization
• Title（参考訳）: 混合正則化について
• Authors: Luigi Carratino, Moustapha Ciss\'e, Rodolphe Jenatton, Jean-Philippe Vert
• Abstract要約: Mixupは、トレーニングポイントとラベルの凸組み合わせとして新しい例を作成するデータ拡張テクニックである。 そこで本研究では、Mixupの新しい解釈のランダムな摂動が、複数の既知の正規化スキームを誘導することを示す。
• 参考スコア（独自算出の注目度）: 16.748910388577308
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixup is a data augmentation technique that creates new examples as convex combinations of training points and labels. This simple technique has empirically shown to improve the accuracy of many state-of-the-art models in different settings and applications, but the reasons behind this empirical success remain poorly understood. In this paper we take a substantial step in explaining the theoretical foundations of Mixup, by clarifying its regularization effects. We show that Mixup can be interpreted as standard empirical risk minimization estimator subject to a combination of data transformation and random perturbation of the transformed data. We gain two core insights from this new interpretation. First, the data transformation suggests that, at test time, a model trained with Mixup should also be applied to transformed data, a one-line change in code that we show empirically to improve both accuracy and calibration of the prediction. Second, we show how the random perturbation of the new interpretation of Mixup induces multiple known regularization schemes, including label smoothing and reduction of the Lipschitz constant of the estimator. These schemes interact synergistically with each other, resulting in a self calibrated and effective regularization effect that prevents overfitting and overconfident predictions. We corroborate our theoretical analysis with experiments that support our conclusions.
• Abstract（参考訳）: Mixupは、トレーニングポイントとラベルの凸組み合わせとして新しい例を作成するデータ拡張テクニックである。 この単純な手法は、異なる設定や応用において多くの最先端モデルの精度を向上させることを実証的に示しているが、この経験的成功の背景にある理由は未だよく分かっていない。 本稿では,その正規化効果を明らかにすることにより,ミックスアップの理論的な基礎を説明するための重要な一歩を踏み出す。 本研究では,データ変換と変換データのランダムな摂動を組み合わせることにより,ミックスアップを標準経験的リスク最小化推定器と解釈できることを示す。 我々はこの新しい解釈から2つの重要な洞察を得る。 まず、データ変換は、テスト時にmixupでトレーニングされたモデルが変換されたデータにも適用されるべきであることを示唆している。 次に,ミックスアップの新しい解釈のランダムな摂動がラベル平滑化や推定子のリプシッツ定数の低減を含む複数の既知の正規化スキームを誘導することを示す。 これらのスキームは相乗的に相互に作用し、過剰な適合と過信の予測を防ぐ自己調整と効果的な正規化効果をもたらす。 我々は、理論分析を結論を支持する実験と調和させる。

関連論文リスト

• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Fairness under Covariate Shift: Improving Fairness-Accuracy tradeoff with few Unlabeled Test Samples [21.144077993862652]
  我々は、ラベル付きトレーニングセットとともに、ラベル付きテストサンプルの小さなセットのみが利用可能である教師なしのシステムで運用する。 我々は、損失定式化による最適化が、最先端のベースラインよりも優れていることを実験的に検証した。 提案手法は, それらの性能を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2023-10-11T14:39:51Z)
• Semantic Equivariant Mixup [54.734054770032934]
  Mixupは、トレーニング分布を拡張し、ニューラルネットワークを正規化する、確立されたデータ拡張テクニックである。 以前のミックスアップの変種はラベル関連の情報に過度に焦点をあてる傾向がある。 入力中のよりリッチな意味情報を保存するための意味的同変混合(sem)を提案する。
  論文  参考訳（メタデータ） (2023-08-12T03:05:53Z)
• Over-training with Mixup May Hurt Generalization [32.64382185990981]
  今回,Mixupトレーニングの既往の現象を報告する。 多くの標準データセットにおいて、Mixupトレーニングモデルの性能は、多くのエポックのトレーニング後に低下し始めます。 理論的には、Mixupトレーニングは、不要なデータ依存ラベルノイズを合成データに導入する可能性がある。
  論文  参考訳（メタデータ） (2023-03-02T18:37:34Z)
• RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and Out Distribution Robustness [94.69774317059122]
  学習目的として使うのではなく、標準のクロスエントロピー損失に対する追加の正則化剤として利用すれば、良好なミックスアップの有効性がさらに向上できることが示される。 この単純な変更は、精度を大幅に改善するだけでなく、Mixupの予測不確実性推定の品質を大幅に改善する。
  論文  参考訳（メタデータ） (2022-06-29T09:44:33Z)
• A similarity-based Bayesian mixture-of-experts model [0.5156484100374058]
  多変量回帰問題に対する新しい非パラメトリック混合実験モデルを提案する。 条件付きモデルを用いて、サンプル外入力の予測は、観測された各データポイントと類似性に基づいて行われる。 混合物のパラメータと距離測定値に基づいて後部推論を行う。
  論文  参考訳（メタデータ） (2020-12-03T18:08:30Z)
• How Does Mixup Help With Robustness and Generalization? [41.58255103170875]
  トレーニングにおけるMixupの使用は、堅牢性と一般化のモデル化にどのように役立つかを示す。 強靭性については, 混合損失の最小化は, 対向損失の上限をほぼ最小化することを示す。 一般化のために、Mixupの拡張は、オーバーフィッティングを減らすデータ適応正規化の特定のタイプに対応することを証明した。
  論文  参考訳（メタデータ） (2020-10-09T21:38:14Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。