論文の概要: Regularizing Neural Networks via Adversarial Model Perturbation

• arxiv url: http://arxiv.org/abs/2010.04925v4
• Date: Fri, 7 May 2021 04:26:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 22:18:36.806996
• Title: Regularizing Neural Networks via Adversarial Model Perturbation
• Title（参考訳）: 逆モデル摂動によるニューラルネットワークの規則化
• Authors: Yaowei Zheng, Richong Zhang, Yongyi Mao
• Abstract要約: この研究は、実験的リスクの平坦な局所最小値がモデルをより一般化させるという理解に基づいて、新たな正規化スキームを提案する。 経験的リスクを直接最小化する代わりに、代替の"AMP損失"をSGDを介して最小化する。
• 参考スコア（独自算出の注目度）: 43.40255637985682
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Effective regularization techniques are highly desired in deep learning for alleviating overfitting and improving generalization. This work proposes a new regularization scheme, based on the understanding that the flat local minima of the empirical risk cause the model to generalize better. This scheme is referred to as adversarial model perturbation (AMP), where instead of directly minimizing the empirical risk, an alternative "AMP loss" is minimized via SGD. Specifically, the AMP loss is obtained from the empirical risk by applying the "worst" norm-bounded perturbation on each point in the parameter space. Comparing with most existing regularization schemes, AMP has strong theoretical justifications, in that minimizing the AMP loss can be shown theoretically to favour flat local minima of the empirical risk. Extensive experiments on various modern deep architectures establish AMP as a new state of the art among regularization schemes. Our code is available at https://github.com/hiyouga/AMP-Regularizer.
• Abstract（参考訳）: 効果的な正則化手法は、オーバーフィッティングを緩和し一般化を改善するためにディープラーニングにおいて非常に望ましい。 本研究は、実験的リスクの平坦な局所最小値がモデルをより一般化させるという理解に基づいて、新たな正規化スキームを提案する。 このスキームは逆モデル摂動(AMP)と呼ばれ、経験的リスクを直接最小化する代わりに、SGDを介して代替の「AMP損失」を最小化する。 具体的には、パラメータ空間の各点に"worst"ノルムバウンド摂動を適用することにより、経験的リスクからamp損失を得る。 多くの既存の正則化スキームと比較すると、AMPの損失を最小化することは理論上、経験的リスクの平坦な局所最小化を好むことができる。 様々な近代的な深層建築に関する大規模な実験は、正規化スキームにおける新しい最先端技術としてAMPを確立する。 私たちのコードはhttps://github.com/hiyouga/AMP-Regularizer.comで利用可能です。

関連論文リスト

• Domain Generalization without Excess Empirical Risk [83.26052467843725]
  一般的なアプローチは、一般化を捉え、ペナルティと共同で経験的リスクを最小化するために、データ駆動の代理ペナルティを設計することである。 我々は、このレシピの重大な失敗モードは、共同最適化における誤ったペナルティや難しさによる過度なリスクであると主張している。 我々は,この問題を解消するアプローチを提案し,経験的リスクと刑罰を同時に最小化する代わりに,経験的リスクの最適性の制約の下でのペナルティを最小化する。
  論文  参考訳（メタデータ） (2023-08-30T08:46:46Z)
• DiffusionAD: Norm-guided One-step Denoising Diffusion for Anomaly Detection [89.49600182243306]
  我々は拡散モデルを用いて再構成過程をノイズ・ツー・ノームパラダイムに再構成する。 本稿では,拡散モデルにおける従来の反復的復調よりもはるかに高速な高速な一段階復調パラダイムを提案する。 セグメント化サブネットワークは、入力画像とその異常のない復元を用いて画素レベルの異常スコアを予測する。
  論文  参考訳（メタデータ） (2023-03-15T16:14:06Z)
• Proposal Distribution Calibration for Few-Shot Object Detection [65.19808035019031]
  few-shot object detection (FSOD)では、重度のサンプル不均衡を軽減するために、2段階の訓練パラダイムが広く採用されている。 残念ながら、極端なデータ不足は、提案の分布バイアスを増大させ、RoIヘッドが新しいクラスに進化するのを妨げます。 本稿では,RoIヘッドのローカライゼーションと分類能力を高めるために,単純かつ効果的な提案分布キャリブレーション(PDC)手法を提案する。
  論文  参考訳（メタデータ） (2022-12-15T05:09:11Z)
• Diminishing Empirical Risk Minimization for Unsupervised Anomaly Detection [0.0]
  経験的リスク最小化(ERM)は、未知の分布におけるアルゴリズムの性能を、既知のトレーニングセットにおける損失の平均化によって近似できると仮定する。 本稿では,EMMの限界を突破する新しいDimical Risk Minimization(DERM)フレームワークを提案する。 DERMは、よく設計された集約戦略を通じて個々の損失の影響を適応的に調整する。
  論文  参考訳（メタデータ） (2022-05-29T14:18:26Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Neighborhood Region Smoothing Regularization for Finding Flat Minima In Deep Neural Networks [16.4654807047138]
  我々はNRS(Neighborhood Region Smoothing)と呼ばれる効果的な正規化手法を提案する。 NRSは、近似出力を得るために、重量空間の近傍領域を規則化しようとする。 NRSによって発見されたミニマは、従来の方法に比べて比較的小さなヘッセン固有値を持つことを実証的に示す。
  論文  参考訳（メタデータ） (2022-01-16T15:11:00Z)
• Generalization Performance of Empirical Risk Minimization on Over-parameterized Deep ReLU Nets [32.67448097790934]
  穏やかな条件下で多数のデータに対してほぼ最適な一般化誤差境界を達成できる完全大域最小値が存在することを証明した。 その結果,最適化と一般化のギャップを埋めることができた。
  論文  参考訳（メタデータ） (2021-11-28T03:22:22Z)
• Distributionally Robust Federated Averaging [19.875176871167966]
  適応サンプリングを用いた堅牢な学習周期平均化のためのコミュニケーション効率の高い分散アルゴリズムを提案する。 我々は、フェデレーション学習環境における理論的結果に関する実験的証拠を裏付ける。
  論文  参考訳（メタデータ） (2021-02-25T03:32:09Z)
• On the Minimal Error of Empirical Risk Minimization [90.09093901700754]
  回帰作業における経験的リスク最小化(ERM)手順の最小誤差について検討する。 私たちの鋭い下限は、データを生成するモデルの単純さに適応する可能性(あるいは不可能)に光を当てています。
  論文  参考訳（メタデータ） (2021-02-24T04:47:55Z)
• Adversarial Classification via Distributional Robustness with Wasserstein Ambiguity [12.576828231302134]
  ワッサーシュタインの曖昧さの下では、モデルは誤分類のリスクを最小限にすることを目的としている。 この分類の非整合性にもかかわらず、標準降下法はこの問題に対して収束しているように見える。
  論文  参考訳（メタデータ） (2020-05-28T07:28:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。