論文の概要: SparseVLR: A Novel Framework for Verified Locally Robust Sparse Neural
Networks Search
- arxiv url: http://arxiv.org/abs/2211.09945v1
- Date: Thu, 17 Nov 2022 23:42:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 15:02:39.797104
- Title: SparseVLR: A Novel Framework for Verified Locally Robust Sparse Neural
Networks Search
- Title(参考訳): SparseVLR: 局所ロバストなスパースニューラルネットワーク探索のための新しいフレームワーク
- Authors: Sawinder Kaur, Asif Salekin
- Abstract要約: 本研究では,局所的に堅牢なスパースネットワークを探索する新しいフレームワークであるSparseVLRを開発する。
SparseVLRは事前訓練された高密度モデルを必要としないため、トレーニング時間を50%削減できる。
我々は,SparseVLRの有効性と一般化性について,各種ベンチマークおよびアプリケーション固有のデータセットの評価により徹底的に検討した。
- 参考スコア(独自算出の注目度): 4.695687634290405
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The compute-intensive nature of neural networks (NNs) limits their deployment
in resource-constrained environments such as cell phones, drones, autonomous
robots, etc. Hence, developing robust sparse models fit for safety-critical
applications has been an issue of longstanding interest. Though adversarial
training with model sparsification has been combined to attain the goal,
conventional adversarial training approaches provide no formal guarantee that
the models would be robust against any rogue samples in a restricted space
around a benign sample. Recently proposed verified local robustness techniques
provide such a guarantee. This is the first paper that combines the ideas from
verified local robustness and dynamic sparse training to develop `SparseVLR'--
a novel framework to search verified locally robust sparse networks. Obtained
sparse models exhibit accuracy and robustness comparable to their dense
counterparts at sparsity as high as 99%. Furthermore, unlike most conventional
sparsification techniques, SparseVLR does not require a pre-trained dense
model, reducing the training time by 50%. We exhaustively investigated
SparseVLR's efficacy and generalizability by evaluating various benchmark and
application-specific datasets across several models.
- Abstract(参考訳): ニューラルネットワーク(NN)の計算集約性は、携帯電話やドローン、自律ロボットなど、リソースに制約のある環境への展開を制限する。
したがって、安全クリティカルなアプリケーションに適した堅牢なスパースモデルの開発は、長年の関心事となっている。
モデルスペーシフィケーションによる敵のトレーニングは目標を達成するために組み合わせられているが、従来の敵のトレーニングアプローチでは、モデルが良性サンプルの周囲の制限された空間におけるどのローグサンプルに対しても堅牢であるという正式な保証は得られていない。
最近提案された局所ロバスト性技術はそのような保証を提供する。
検証された局所的ロバスト性と動的スパーストレーニングのアイデアを組み合わせた最初の論文であり、'sparsevlr'-検証された局所的ロバストなスパースネットワークを探索するための新しいフレームワークである。
得られたスパースモデルでは、99%の精度で密度の高いモデルに匹敵する精度と頑健性を示す。
さらに、従来のスペーシフィケーション技術とは異なり、SparseVLRは事前訓練された高密度モデルを必要としないため、トレーニング時間を50%短縮する。
我々は,SparseVLRの有効性と一般化性について,様々なベンチマークおよびアプリケーション固有のデータセットを複数のモデルで評価することによって徹底的に検討した。
関連論文リスト
- Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via
Selective Entropy Distillation [60.17626806243389]
Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。
CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
論文 参考訳(メタデータ) (2024-02-27T08:47:19Z) - A Systematic Approach to Robustness Modelling for Deep Convolutional
Neural Networks [0.294944680995069]
最近の研究は、より大きなモデルが制御された列車やテストセット外のデータに一般化できるかどうかという疑問を提起している。
本稿では,障害発生確率を時間関数としてモデル化する手法を提案する。
コスト、ロバスト性、レイテンシ、信頼性のトレードオフについて検討し、より大きなモデルが敵のロバスト性に大きく寄与しないことを示す。
論文 参考訳(メタデータ) (2024-01-24T19:12:37Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳(メタデータ) (2023-03-24T16:03:21Z) - Incremental Online Learning Algorithms Comparison for Gesture and Visual
Smart Sensors [68.8204255655161]
本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。
以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
論文 参考訳(メタデータ) (2022-09-01T17:05:20Z) - DeepSteal: Advanced Model Extractions Leveraging Efficient Weight
Stealing in Memories [26.067920958354]
Deep Neural Networks(DNN)のプライバシに対する大きな脅威の1つは、モデル抽出攻撃である。
最近の研究によると、ハードウェアベースのサイドチャネル攻撃はDNNモデル(例えばモデルアーキテクチャ)の内部知識を明らかにすることができる。
本稿では,メモリサイドチャネル攻撃の助けを借りてDNN重みを効果的に盗む,高度なモデル抽出攻撃フレームワークであるDeepStealを提案する。
論文 参考訳(メタデータ) (2021-11-08T16:55:45Z) - LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。
構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。
我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文 参考訳(メタデータ) (2021-10-08T17:03:34Z) - Federated Learning with Unreliable Clients: Performance Analysis and
Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。
しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。
クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文 参考訳(メタデータ) (2021-05-10T08:02:27Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳(メタデータ) (2021-05-07T11:39:05Z) - Compact CNN Structure Learning by Knowledge Distillation [34.36242082055978]
知識蒸留とカスタマイズ可能なブロックワイズ最適化を活用し、軽量なCNN構造を学習するフレームワークを提案する。
提案手法は,予測精度の向上を図りながら,アートネットワーク圧縮の状態を再現する。
特に,すでにコンパクトなネットワークであるMobileNet_v2では,モデル圧縮が最大2倍,モデル圧縮が5.2倍向上する。
論文 参考訳(メタデータ) (2021-04-19T10:34:22Z) - Dataless Model Selection with the Deep Frame Potential [45.16941644841897]
ネットワークをその固有の能力で定量化し、ユニークでロバストな表現を行う。
本稿では,表現安定性にほぼ関係するが,ネットワーク構造にのみ依存する最小限のコヒーレンス尺度であるディープフレームポテンシャルを提案する。
モデル選択の基準としての利用を検証するとともに,ネットワークアーキテクチャの多種多様な残差および密結合化について,一般化誤差との相関性を示す。
論文 参考訳(メタデータ) (2020-03-30T23:27:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。