論文の概要: Generalized Depthwise-Separable Convolutions for Adversarially Robust
and Efficient Neural Networks
- arxiv url: http://arxiv.org/abs/2110.14871v1
- Date: Thu, 28 Oct 2021 03:51:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-29 14:56:44.578537
- Title: Generalized Depthwise-Separable Convolutions for Adversarially Robust
and Efficient Neural Networks
- Title（参考訳）: 逆ロバストかつ効率的なニューラルネットワークのための一般化深部分離型畳み込み
- Authors: Hassan Dbouk, Naresh R. Shanbhag
- Abstract要約: 一般化Depthwise-Separable(GDWS)畳み込みは、標準的な2D畳み込みの効率的で普遍的で訓練後の近似である。
GDWSは、その堅牢性を保ちながら、実際のハードウェア上での標準トレーニング済みネットワークのスループットを劇的に改善する。
本稿では,複雑性と誤差制約の下で最適GDWS畳み込みを構築するための正確なアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 17.647808274974043
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite their tremendous successes, convolutional neural networks (CNNs)
incur high computational/storage costs and are vulnerable to adversarial
perturbations. Recent works on robust model compression address these
challenges by combining model compression techniques with adversarial training.
But these methods are unable to improve throughput (frames-per-second) on
real-life hardware while simultaneously preserving robustness to adversarial
perturbations. To overcome this problem, we propose the method of Generalized
Depthwise-Separable (GDWS) convolution -- an efficient, universal,
post-training approximation of a standard 2D convolution. GDWS dramatically
improves the throughput of a standard pre-trained network on real-life hardware
while preserving its robustness. Lastly, GDWS is scalable to large problem
sizes since it operates on pre-trained models and doesn't require any
additional training. We establish the optimality of GDWS as a 2D convolution
approximator and present exact algorithms for constructing optimal GDWS
convolutions under complexity and error constraints. We demonstrate the
effectiveness of GDWS via extensive experiments on CIFAR-10, SVHN, and ImageNet
datasets. Our code can be found at https://github.com/hsndbk4/GDWS.
- Abstract（参考訳）: 彼らの大きな成功にもかかわらず、畳み込みニューラルネットワーク(CNN)は高い計算/記憶コストをもたらし、敵の摂動に弱い。
近年のロバストモデル圧縮に関する研究は、モデル圧縮技術と対向訓練を組み合わせることでこれらの課題に対処している。
しかし、これらの手法は、現実のハードウェアにおけるスループット(フレーム毎秒)を向上させることができず、同時に逆の摂動に対する堅牢性も維持している。
この問題を解決するために,標準的な2次元畳み込みの効率的で普遍的な後学習近似である一般化Depthwise-Separable(GDWS)畳み込み法を提案する。
GDWSは、その堅牢性を保ちながら、実際のハードウェア上での標準トレーニング済みネットワークのスループットを劇的に改善する。
最後に、gdwsは事前トレーニングされたモデル上で動作し、追加のトレーニングを必要としないため、大きな問題サイズに対してスケーラブルである。
本稿では、2次元畳み込み近似器としてGDWSの最適性を確立し、複雑性と誤差制約の下で最適なGDWS畳み込みを構築するための正確なアルゴリズムを提案する。
我々は,CIFAR-10,SVHN,ImageNetデータセットの広範な実験を通じて,GDWSの有効性を示す。
私たちのコードはhttps://github.com/hsndbk4/gdwsにあります。
関連論文リスト
- A foundation for exact binarized morphological neural networks [2.8925699537310137]
ディープニューラルネットワーク(NN)のトレーニングと実行は、多くの計算とエネルギー集約的な特別なハードウェアを必要とすることが多い。
計算量と消費電力を減らす方法の1つは二重NNを使うことであるが、これは符号関数が非滑らかな勾配を持つため訓練が困難である。
本研究では,特定の条件下での性能を損なうことなく,ConvNetを二項化できる数学的形態(MM)に基づくモデルを提案する。
論文 参考訳（メタデータ） (2024-01-08T11:37:44Z) - A Low-Complexity Approach to Rate-Distortion Optimized Variable Bit-Rate
Compression for Split DNN Computing [5.3221129103999125]
分散コンピューティングは、DNNベースのAIワークロードを実装するための最近のパラダイムとして登場した。
本稿では,レート・精度・複雑さのトレードオフを最適化する上での課題に対処するアプローチを提案する。
我々のアプローチは、トレーニングと推論の両方において非常に軽量であり、非常に効果的であり、高い速度歪曲性能を実現する。
論文 参考訳（メタデータ） (2022-08-24T15:02:11Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - DepthShrinker: A New Compression Paradigm Towards Boosting Real-Hardware
Efficiency of Compact Neural Networks [29.46621102184345]
ハードウェアフレンドリーなコンパクトネットワークを開発するために,DepthShrinkerというフレームワークを提案する。
我々のフレームワークは、最先端のDNNや圧縮技術より優れたハードウェアフレンドリーなコンパクトネットワークを提供する。
論文 参考訳（メタデータ） (2022-06-02T02:32:47Z) - Exploiting the Potential of Datasets: A Data-Centric Approach for Model
Robustness [48.70325679650579]
本稿では,既存のディープニューラルネットワークの多くに有効であるデータセット拡張のための新しいアルゴリズムを提案する。
Alibaba GroupとTsinghua Universityが主催するデータ中心の堅牢な学習コンペで、私たちのアルゴリズムは3000以上の競合企業から3位に入った。
論文 参考訳（メタデータ） (2022-03-10T12:16:32Z) - Virtual Data Augmentation: A Robust and General Framework for
Fine-tuning Pre-trained Models [51.46732511844122]
強力な事前訓練型言語モデル(PLM)は、小さな摂動や意図的な攻撃によって騙されることがある。
VDA(Virtual Data Augmentation)は,PLMを高度に微調整するための一般的なフレームワークである。
本手法は, PLMの堅牢性を向上し, 敵攻撃時の性能劣化を軽減する。
論文 参考訳（メタデータ） (2021-09-13T09:15:28Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。
具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
論文 参考訳（メタデータ） (2020-08-21T19:35:54Z) - 2nd Place Scheme on Action Recognition Track of ECCV 2020 VIPriors
Challenges: An Efficient Optical Flow Stream Guided Framework [57.847010327319964]
我々は、小さなデータセットでモデルをスクラッチからトレーニングできるデータ効率フレームワークを提案する。
具体的には、3D中心差分畳み込み演算を導入することで、新しいC3Dニューラルネットワークベースの2ストリームフレームワークを提案する。
提案手法は,大規模データセット上で事前学習したモデルがなくても,有望な結果が得られることを実証した。
論文 参考訳（メタデータ） (2020-08-10T09:50:28Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳（メタデータ） (2020-05-13T13:25:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。