論文の概要: MaxUp: A Simple Way to Improve Generalization of Neural Network Training
- arxiv url: http://arxiv.org/abs/2002.09024v1
- Date: Thu, 20 Feb 2020 21:20:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 07:09:23.233629
- Title: MaxUp: A Simple Way to Improve Generalization of Neural Network Training
- Title（参考訳）: MaxUp: ニューラルネットワークトレーニングの一般化を改善するための簡単な方法
- Authors: Chengyue Gong, Tongzheng Ren, Mao Ye, Qiang Liu
- Abstract要約: emphMaxUpは、機械学習モデルの一般化性能を改善するための、恥ずかしいほどシンプルで、非常に効果的なテクニックである。
特に、ImageNetの分類を最先端のトップ-1の精度で85.5%$、追加データなしでは85.8%$に改善します。
- 参考スコア（独自算出の注目度）: 41.89570630848936
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose \emph{MaxUp}, an embarrassingly simple, highly effective technique
for improving the generalization performance of machine learning models,
especially deep neural networks. The idea is to generate a set of augmented
data with some random perturbations or transforms and minimize the maximum, or
worst case loss over the augmented data. By doing so, we implicitly introduce a
smoothness or robustness regularization against the random perturbations, and
hence improve the generation performance. For example, in the case of Gaussian
perturbation,
\emph{MaxUp} is asymptotically equivalent to using the gradient norm of the
loss as a penalty to encourage smoothness. We test \emph{MaxUp} on a range of
tasks, including image classification, language modeling, and adversarial
certification, on which \emph{MaxUp} consistently outperforms the existing best
baseline methods, without introducing substantial computational overhead. In
particular, we improve ImageNet classification from the state-of-the-art top-1
accuracy $85.5\%$ without extra data to $85.8\%$. Code will be released soon.
- Abstract（参考訳）: 本稿では,機械学習モデル,特にディープニューラルネットワークの一般化性能を向上させるための,恥ずかしいほど単純で効果的な手法である \emph{maxup}を提案する。
このアイデアは、ランダムな摂動や変換を伴う一連の拡張データを生成し、拡張データに対する最大または最悪のケース損失を最小限にする。
これにより、ランダムな摂動に対する滑らかさやロバスト性が暗黙的に導入され、生成性能が向上する。
例えば、ガウス摂動の場合、\emph{maxup} は、損失の勾配ノルムを滑らかさを促進するためのペナルティとして用いることに漸近的に同値である。
我々は,画像分類や言語モデリング,対数証明など,さまざまなタスクにおいて \emph{MaxUp} をテストする。
特に、ImageNetの分類を最先端のトップ-1の精度8.5\%$から8.8\%$に改善する。
コードはまもなくリリースされる。
関連論文リスト
- Zeroth-Order Adaptive Neuron Alignment Based Pruning without Re-Training [3.195234044113248]
我々は、高密度事前学習モデルの関数情報を利用して、アクティベーションのアライメントw.r.tを最大化するスパースモデルを得る。
我々は,アクティベーション間のニューロンアライメントを最大化するために,ブロックワイドと行ワイドの間隔比を変更するエンフェップアップアルゴリズムであるtextscNeuroAlを提案する。
提案手法は,4つの異なるLLMファミリーと3つの異なる空間比で検証し,最新の最先端技術よりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2024-11-11T15:30:16Z) - Distinction Maximization Loss: Efficiently Improving Classification
Accuracy, Uncertainty Estimation, and Out-of-Distribution Detection Simply
Replacing the Loss and Calibrating [2.262407399039118]
我々は、DisMax損失を用いた決定論的深層ニューラルネットワークのトレーニングを提案する。
DisMaxは通常、分類精度、不確実性推定、推論効率、アウト・オブ・ディストリビューション検出において、全ての現在のアプローチを同時に上回る。
論文 参考訳（メタデータ） (2022-05-12T04:37:35Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳（メタデータ） (2022-02-23T02:39:04Z) - Joint inference and input optimization in equilibrium networks [68.63726855991052]
ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。
この2つの設定の間には自然なシナジーがあることが示されています。
この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
論文 参考訳（メタデータ） (2021-11-25T19:59:33Z) - Adapting Stepsizes by Momentumized Gradients Improves Optimization and
Generalization [89.66571637204012]
textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
論文 参考訳（メタデータ） (2021-06-22T03:13:23Z) - Minimax Optimization with Smooth Algorithmic Adversaries [59.47122537182611]
対戦相手が展開するスムーズなアルゴリズムに対して,Min-playerの新しいアルゴリズムを提案する。
本アルゴリズムは,制限周期のない単調進行を保証し,適切な勾配上昇数を求める。
論文 参考訳（メタデータ） (2021-06-02T22:03:36Z) - Reweighting Augmented Samples by Minimizing the Maximal Expected Loss [51.2791895511333]
我々は,拡張標本の任意の重み付け損失に対する上限となる最大期待損失を構成する。
敵の訓練に触発されて、この最大期待損失を最小化し、単純で解釈可能なクローズドフォームソリューションを得る。
提案手法は, 一般に任意のデータ拡張法上に適用可能である。
論文 参考訳（メタデータ） (2021-03-16T09:31:04Z) - Dissecting Supervised Constrastive Learning [24.984074794337157]
高容量エンコーダで構成された線形マップのソフトマックススコアよりもクロスエントロピーを最小化することは、教師付き学習タスクでニューラルネットワークを訓練するための最も一般的な選択肢である。
コントラスト目的の教師付き変種を通して等しく(あるいはそれ以上)識別表現を得るために、エンコーダを直接最適化することができることを示す。
論文 参考訳（メタデータ） (2021-02-17T15:22:38Z) - Glance and Focus: a Dynamic Approach to Reducing Spatial Redundancy in
Image Classification [46.885260723836865]
ディープ畳み込みニューラルネットワーク (Deep Convolutional Neural Network, CNN) は、高解像度画像で処理することで一般的に改善される。
画像中のすべての領域がタスク関連であるとは限らないという事実に着想を得て,効率的な画像分類を行う新しいフレームワークを提案する。
我々のフレームワークは、最先端の軽量CNNの多くと互換性があり、汎用的で柔軟です。
論文 参考訳（メタデータ） (2020-10-11T17:55:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。