論文の概要: The Effects of Regularization and Data Augmentation are Class Dependent
- arxiv url: http://arxiv.org/abs/2204.03632v2
- Date: Fri, 8 Apr 2022 20:03:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-12 11:26:34.241734
- Title: The Effects of Regularization and Data Augmentation are Class Dependent
- Title（参考訳）: 正規化とデータ拡張の効果はクラス依存である
- Authors: Randall Balestriero, Leon Bottou, Yann LeCun
- Abstract要約: 現在のDeep Networksは、Data-Augmentation (DA)やheter-decayなどのレギュレータに大きく依存している。
本研究では,DAや体重減少といった手法が,クラス間で不公平な複雑性のモデルを生成することを示す。
- 参考スコア（独自算出の注目度）: 17.42795348368641
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Regularization is a fundamental technique to prevent over-fitting and to
improve generalization performances by constraining a model's complexity.
Current Deep Networks heavily rely on regularizers such as Data-Augmentation
(DA) or weight-decay, and employ structural risk minimization, i.e.
cross-validation, to select the optimal regularization hyper-parameters. In
this study, we demonstrate that techniques such as DA or weight decay produce a
model with a reduced complexity that is unfair across classes. The optimal
amount of DA or weight decay found from cross-validation leads to disastrous
model performances on some classes e.g. on Imagenet with a resnet50, the "barn
spider" classification test accuracy falls from $68\%$ to $46\%$ only by
introducing random crop DA during training. Even more surprising, such
performance drop also appears when introducing uninformative regularization
techniques such as weight decay. Those results demonstrate that our search for
ever increasing generalization performance -- averaged over all classes and
samples -- has left us with models and regularizers that silently sacrifice
performances on some classes. This scenario can become dangerous when deploying
a model on downstream tasks e.g. an Imagenet pre-trained resnet50 deployed on
INaturalist sees its performances fall from $70\%$ to $30\%$ on class \#8889
when introducing random crop DA during the Imagenet pre-training phase. Those
results demonstrate that designing novel regularizers without class-dependent
bias remains an open research question.
- Abstract（参考訳）: 正規化は、過度な適合を防ぎ、モデルの複雑さを制約することで一般化性能を改善するための基本的な技術である。
現在のDeep Networksは、Data-Augmentation (DA) や weight-decay のような正規化器に大きく依存しており、構造的リスク最小化、すなわちクロスバリデーションを用いて最適な正規化ハイパーパラメータを選択する。
本研究では,DAや体重減少といった手法が,クラス間で不公平な複雑性のモデルを生成することを示す。
クロスバリデーションから得られるDAの最適量や重量減衰は、例えばImagenetでresnet50を使用すれば、トレーニング中にランダムな農作物DAを導入することで、"barn Spider"分類テストの精度が6,8\%から4,6\%に低下する。
さらに驚くべきことに、ウェイト崩壊のような非形式的正規化技術を導入する際にもこのような性能低下が起こる。
これらの結果から,クラスやサンプルの平均的な一般化パフォーマンスの追求は,一部のクラスのパフォーマンスを静かに犠牲にするモデルやレギュラライザに留まっています。
例えば、inaturalistにデプロイされたimagenetプリトレーニングされたresnet50では、imagenetプレトレーニングフェーズでランダムクロップdaを導入すると、クラス \#8889で70\%$から30\%$に低下する。
これらの結果は、クラス依存バイアスのない新規な正則化器の設計がオープンな研究課題であることを示している。
関連論文リスト
- Adaptive Stochastic Weight Averaging [1.90894751866253]
重み平均化(SWA)技術は、特定のエポック以降のモデルパラメータの実行平均を維持する。
7つのベースラインモデルを持つ11のベンチマークデータセットに対する実験は、ASWAがモデルとデータセット間の統計的により良い一般化をもたらすことを示唆している。
論文 参考訳（メタデータ） (2024-06-27T11:17:13Z) - LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised
Time Series Anomaly Detection [49.52429991848581]
深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。
本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
論文 参考訳（メタデータ） (2023-10-09T12:36:16Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-05T12:49:02Z) - Relating Regularization and Generalization through the Intrinsic
Dimension of Activations [11.00580615194563]
画像分類モデルにおける検証セットアクティベーションの最終層ID(LLID)を,共通正規化手法により均一に低減することを示す。
また、グルーキングを示すモデルのトレーニングの過程でLLIDについても検討する。
論文 参考訳（メタデータ） (2022-11-23T19:00:00Z) - Improving GANs for Long-Tailed Data through Group Spectral
Regularization [51.58250647277375]
本稿では, スペクトル爆発によるモード崩壊を防止する新しいグループスペクトル正規化器 (gSR) を提案する。
我々は,gSRが既存の拡張および正規化技術と効果的に組み合わせることで,長期化データ上での最先端の画像生成性能が向上することを発見した。
論文 参考訳（メタデータ） (2022-08-21T17:51:05Z) - Two-Stage Fine-Tuning: A Novel Strategy for Learning Class-Imbalanced
Data [11.66734752179563]
長い尾の分散データの分類は難しい問題である。
トレーニング済みのモデルを下流タスクに転送する場合、特に微調整では、テールクラスでの学習は困難である。
本稿では,2段階のファインチューニングを提案する。まず,事前訓練されたモデルの最終層をクラスバランスの再重み付け損失で微調整し,次に標準のファインチューニングを実行する。
論文 参考訳（メタデータ） (2022-07-22T03:39:51Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳（メタデータ） (2022-02-11T13:49:51Z) - Mitigating Catastrophic Forgetting in Scheduled Sampling with Elastic
Weight Consolidation in Neural Machine Translation [15.581515781839656]
最大推定値で訓練された自己回帰モデルは、露出バイアスに悩まされる。
露光バイアスの軽減と出力品質の維持のトレードオフとして, 弾性重み強化(Elastic Weight Consolidation)を提案する。
2つのIWSLT'14翻訳タスクの実験は、我々のアプローチが破滅的な忘れを軽減し、BLEUを大幅に改善することを示した。
論文 参考訳（メタデータ） (2021-09-13T20:37:58Z) - Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。
実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文 参考訳（メタデータ） (2021-06-18T01:03:13Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳（メタデータ） (2021-06-06T00:04:49Z) - Selective Output Smoothing Regularization: Regularize Neural Networks by
Softening Output Distributions [5.725228891050467]
畳み込みニューラルネットワーク(CNN)を学習するための新しい正規化手法であるSelective Output Smoothing Regularizationを提案する。
異なるサンプルからのトレーニングに対する多様な影響にインスパイアされたSelective Output Smoothing Regularizationは、モデルに不正なクラスで同等のロジットを生成するように促すことによって、パフォーマンスを改善する。
このプラグアンドプレイ正規化方法は、余分な手間をかけずに、ほぼすべてのCNNベースのプロジェクトに便利に組み込むことができる。
論文 参考訳（メタデータ） (2021-03-29T07:21:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。