論文の概要: Sparsity Meets Robustness: Channel Pruning for the Feynman-Kac Formalism
Principled Robust Deep Neural Nets
- arxiv url: http://arxiv.org/abs/2003.00631v1
- Date: Mon, 2 Mar 2020 02:18:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 03:55:24.012177
- Title: Sparsity Meets Robustness: Channel Pruning for the Feynman-Kac Formalism
Principled Robust Deep Neural Nets
- Title（参考訳）: Sparsity Meets Robustness:Feynman-Kac Formalism Principled Robust Deep Neural Netsのためのチャネルプルーニング
- Authors: Thu Dinh, Bao Wang, Andrea L. Bertozzi, and Stanley J. Osher
- Abstract要約: 本稿では、堅牢で正確なディープラーニングのための効率的な圧縮アルゴリズムとスパースニューラルネットワークの共設計に焦点を当てる。
緩和されたラグランジアンベースのアルゴリズムを利用して、敵に訓練されたDNNの重みを推定する。
The Feynman-Kac formalism was fundamentald robust and sparse DNNs, we can least double the channel sparsity of the adversarially trained ResNet20 for CIFAR10 classification。
- 参考スコア（独自算出の注目度）: 13.102014808597264
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural nets (DNNs) compression is crucial for adaptation to mobile
devices. Though many successful algorithms exist to compress naturally trained
DNNs, developing efficient and stable compression algorithms for robustly
trained DNNs remains widely open. In this paper, we focus on a co-design of
efficient DNN compression algorithms and sparse neural architectures for robust
and accurate deep learning. Such a co-design enables us to advance the goal of
accommodating both sparsity and robustness. With this objective in mind, we
leverage the relaxed augmented Lagrangian based algorithms to prune the weights
of adversarially trained DNNs, at both structured and unstructured levels.
Using a Feynman-Kac formalism principled robust and sparse DNNs, we can at
least double the channel sparsity of the adversarially trained ResNet20 for
CIFAR10 classification, meanwhile, improve the natural accuracy by $8.69$\% and
the robust accuracy under the benchmark $20$ iterations of IFGSM attack by
$5.42$\%. The code is available at
\url{https://github.com/BaoWangMath/rvsm-rgsm-admm}.
- Abstract（参考訳）: ディープニューラルネット(DNN)圧縮はモバイルデバイスへの適応に不可欠である。
自然に訓練されたDNNを圧縮するアルゴリズムは数多く存在するが、堅牢に訓練されたDNNのための効率的で安定した圧縮アルゴリズムの開発は依然として広く行われている。
本稿では、堅牢で正確なディープラーニングのための効率的なDNN圧縮アルゴリズムとスパースニューラルネットワークの共設計に焦点を当てる。
このような共同設計により、スパーシリティとロバストネスの両方を収容するという目標を前進させることができる。
この目的を念頭に置いて,緩和された拡張ラグランジアンアルゴリズムを活用して,構造化レベルと非構造化レベルの両方において,敵対的に訓練されたdnnの重みを損なう。
ファインマン・カックの形式主義は堅牢でスパースなDNNを基本とし、CIFAR10分類のための敵に訓練されたResNet20のチャネル間隔を少なくとも2倍にし、自然な精度を8.69$\%改善し、ベンチマーク20$でIFGSM攻撃を5.42$\%改善できる。
コードは \url{https://github.com/baowangmath/rvsm-rgsm-admm} で入手できる。
関連論文リスト
- RSC-SNN: Exploring the Trade-off Between Adversarial Robustness and Accuracy in Spiking Neural Networks via Randomized Smoothing Coding [17.342181435229573]
スパイキングニューラルネットワーク(SNN)は、そのユニークな神経力学と低出力の性質により、広く注目を集めている。
以前の研究では、Poissonコーディングを持つSNNは、小規模データセット上のArtificial Neural Networks(ANN)よりも堅牢であることが実証されている。
この研究は理論上、SNNの固有の対向ロバスト性はポアソン符号に由来することを証明している。
論文 参考訳（メタデータ） (2024-07-29T15:26:15Z) - DepthShrinker: A New Compression Paradigm Towards Boosting Real-Hardware
Efficiency of Compact Neural Networks [29.46621102184345]
ハードウェアフレンドリーなコンパクトネットワークを開発するために,DepthShrinkerというフレームワークを提案する。
我々のフレームワークは、最先端のDNNや圧縮技術より優れたハードウェアフレンドリーなコンパクトネットワークを提供する。
論文 参考訳（メタデータ） (2022-06-02T02:32:47Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Exploring Architectural Ingredients of Adversarially Robust Deep Neural
Networks [98.21130211336964]
ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。
本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
論文 参考訳（メタデータ） (2021-10-07T23:13:33Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - Training Graph Neural Networks with 1000 Layers [133.84813995275988]
我々は、GNNのメモリとパラメータ効率を向上させるために、可逆接続、グループ畳み込み、重み付け、平衡モデルについて検討する。
我々の知る限りでは、RevGNN-Deepは文学で最も深いGNNである。
論文 参考訳（メタデータ） (2021-06-14T15:03:00Z) - Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。
本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
論文 参考訳（メタデータ） (2021-02-08T05:55:47Z) - Auto Graph Encoder-Decoder for Neural Network Pruning [0.8164433158925593]
グラフニューラルネットワーク(GNN)と強化学習(RL)を組み合わせた自動グラフエンコーダデコーダモデル圧縮(AGMC)手法を提案する。
その結果, 学習に基づくDNN埋め込みは, より優れた性能と, より少ない探索ステップで高い圧縮比が得られることがわかった。
論文 参考訳（メタデータ） (2020-11-25T11:05:21Z) - TaxoNN: A Light-Weight Accelerator for Deep Neural Network Training [2.5025363034899732]
本稿では,SGDアルゴリズムを単純な計算要素に分割することで,ベースラインDNNアクセラレータ(推論のみ)にトレーニング能力を付加する手法を提案する。
DNNトレーニングのための軽量加速器であるTaxoNNを提案する。
実験の結果,TaxoNNは実精度よりも平均0.97%,誤分類率が高いことがわかった。
論文 参考訳（メタデータ） (2020-10-11T09:04:19Z) - An Integrated Approach to Produce Robust Models with High Efficiency [9.476463361600828]
量子化と構造単純化はモバイルデバイスにディープニューラルネットワーク(DNN)を適用するための有望な方法である。
本研究では, 収束緩和量子化アルゴリズムであるBinary-Relax (BR) を, 頑健な逆学習モデルResNets Ensembleに適用することにより, 両特徴の獲得を試みる。
我々は、DNNが自然の精度を維持し、チャネルの間隔を改善するのに役立つトレードオフ損失関数を設計する。
論文 参考訳（メタデータ） (2020-08-31T00:44:59Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳（メタデータ） (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。