論文の概要: Manifold Regularization for Locally Stable Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2003.04286v2
• Date: Tue, 22 Sep 2020 22:53:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 07:41:44.976293
• Title: Manifold Regularization for Locally Stable Deep Neural Networks
• Title（参考訳）: 局所安定なディープニューラルネットワークのためのマニフォールド正規化
• Authors: Charles Jin, Martin Rinard
• Abstract要約: 我々の正規化器はグラフラプラシアンのスパース化に基づいており、データは高次元でスパースであるときに高い確率で保持される。 我々のネットワークは、$ell$、$ell_infty$、Wassersteinベースの摂動を含む様々な摂動モデルにおいて安定性を示す。 適応PGD攻撃に対するCIFAR-10の正逆精度は, $ell_infty$ perturbations of size $epsilon = 8/255$, State-of-the-the-art confirmed accuracy of 21% in the same perturbation modelを用いて達成した。
• 参考スコア（独自算出の注目度）: 5.892876463573452
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We apply concepts from manifold regularization to develop new regularization techniques for training locally stable deep neural networks. Our regularizers are based on a sparsification of the graph Laplacian which holds with high probability when the data is sparse in high dimensions, as is common in deep learning. Empirically, our networks exhibit stability in a diverse set of perturbation models, including $\ell_2$, $\ell_\infty$, and Wasserstein-based perturbations; in particular, we achieve 40% adversarial accuracy on CIFAR-10 against an adaptive PGD attack using $\ell_\infty$ perturbations of size $\epsilon = 8/255$, and state-of-the-art verified accuracy of 21% in the same perturbation model. Furthermore, our techniques are efficient, incurring overhead on par with two additional parallel forward passes through the network.
• Abstract（参考訳）: 我々は,局所安定なディープニューラルネットワークを訓練するための新しい正規化手法の開発に多様体正規化の概念を適用した。 我々の正規化器はグラフラプラシアンのスパーシフィケーションに基づいており、これはディープラーニングでよく見られるように、データが高次元でスパースであるときに高い確率で保持される。 実験的に、我々のネットワークは、$\ell_2$, $\ell_\infty$, and Wasserstein-based perturbationsを含む様々な摂動モデルの安定性を示し、特に、$\ell_\infty$ perturbations of size $\epsilon = 8/255$, and the state-of-the-art correct accuracy of 21% in the same perturbation model。 さらに,本手法は効率が高く,ネットワークを経由する2つの並列フォワードパスと同等のオーバーヘッドが生じる。

関連論文リスト

• Deep Unsupervised Learning Using Spike-Timing-Dependent Plasticity [1.9424510684232212]
  Spike-Timing-Dependent Plasticity (STDP)はスパイクニューラルネットワーク(SNN)のための教師なし学習機構である 本研究では,STDPクラスタリングプロセスによって生成された擬似ラベルを用いて,レートベースの畳み込みネットワークをトレーニングするDeep-STDPフレームワークについて検討する。 Tiny ImageNetデータセットの10クラスのサブセット上で,アイソ精度でより高速な収束速度を実現する。
  論文  参考訳（メタデータ） (2023-07-08T22:21:23Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• Scalable Lipschitz Residual Networks with Convex Potential Flows [120.27516256281359]
  残差ネットワーク勾配流における凸ポテンシャルを用いることで,1ドルのLipschitz変換が組み込まれていることを示す。 CIFAR-10の包括的な実験は、アーキテクチャのスケーラビリティと、証明可能な防御に$ell$のアプローチの利点を実証している。
  論文  参考訳（メタデータ） (2021-10-25T07:12:53Z)
• Semantic Perturbations with Normalizing Flows for Improved Generalization [62.998818375912506]
  我々は、非教師付きデータ拡張を定義するために、潜在空間における摂動が利用できることを示す。 トレーニングを通して分類器に適応する潜伏性対向性摂動が最も効果的であることが判明した。
  論文  参考訳（メタデータ） (2021-08-18T03:20:00Z)
• Differentially private training of neural networks with Langevin dynamics forcalibrated predictive uncertainty [58.730520380312676]
  その結果,DP-SGD(差分偏差勾配勾配勾配勾配勾配)は,低校正・過信深層学習モデルが得られることがわかった。 これは、医療診断など、安全クリティカルな応用にとって深刻な問題である。
  論文  参考訳（メタデータ） (2021-07-09T08:14:45Z)
• Neural Network Training Using $\ell_1$-Regularization and Bi-fidelity Data [0.0]
  高忠実度モデルからの小さなトレーニングデータセットのみが利用可能である場合、スペーサがニューラルネットワークのトレーニングに$ell_$-regularizationを促進させる効果について検討する。 本稿では,問題の低忠実度モデルから得られたデータを用いて訓練した同一ネットワークのパラメータから,$ell_$-regularizationの2つの変種について考察する。 これらのバイフィダリティ戦略は、大きな低フィダリティデータセットから学習したパラメータを使用して、小さな高フィダリティデータセットのためにネットワークを効率的にトレーニングするニューラルネットワークの転送学習の一般化である。
  論文  参考訳（メタデータ） (2021-05-27T08:56:17Z)
• Do Wider Neural Networks Really Help Adversarial Robustness? [92.8311752980399]
  モデルロバスト性は自然精度と摂動安定性のトレードオフと密接に関係していることを示す。 本稿では,ワイドモデル上でラムダ$を適応的に拡大するWidth Adjusted Regularization(WAR)手法を提案する。
  論文  参考訳（メタデータ） (2020-10-03T04:46:17Z)
• HALO: Learning to Prune Neural Networks with Shrinkage [5.283963846188862]
  ディープニューラルネットワークは、構造化されていないデータから豊富な特徴セットを抽出することにより、さまざまなタスクで最先端のパフォーマンスを実現する。 提案手法は,(1)ネットワークプルーニング,(2)スパシティ誘導ペナルティによるトレーニング,(3)ネットワークの重みと連動してバイナリマスクをトレーニングすることである。 トレーニング可能なパラメータを用いて、与えられたネットワークの重みを適応的に分散化することを学ぶ階層適応ラッソ(Hierarchical Adaptive Lasso)という新しいペナルティを提案する。
  論文  参考訳（メタデータ） (2020-08-24T04:08:48Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Learning Sparse Filters in Deep Convolutional Neural Networks with a l1/l2 Pseudo-Norm [5.3791844634527495]
  ディープニューラルネットワーク(DNN)は、多くのタスクで効率的であることが証明されているが、高いメモリと計算コストが伴う。 近年の研究では、それらの構造は性能を損なうことなくよりコンパクトにすることができることが示されている。 フィルタ係数に定義された比 l1/l2 の擬ノルムに基づいて, 疎度誘導正規化項を提案する。
  論文  参考訳（メタデータ） (2020-07-20T11:56:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。