論文の概要: VeriSparse: Training Verified Locally Robust Sparse Neural Networks from
Scratch
- arxiv url: http://arxiv.org/abs/2211.09945v5
- Date: Tue, 28 Mar 2023 15:18:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-29 19:28:35.912390
- Title: VeriSparse: Training Verified Locally Robust Sparse Neural Networks from
Scratch
- Title(参考訳): verisparse: ローカルなロバストなスパースニューラルネットワークをスクラッチからトレーニングする
- Authors: Sawinder Kaur, Yi Xiao, Asif Salekin
- Abstract要約: VeriSparseは,局所的に堅牢なスパースネットワークを検索するフレームワークである。
VeriSparseは構造化されたスパーシフィケーションと非構造化されたスパーシフィケーションの両方を実行し、ストレージ、コンピューティング・リソース、計算時間短縮を可能にする。
各種ベンチマークおよびアプリケーション固有のデータセットを評価し,VeriSparseの有効性と一般化性について検討した。
- 参考スコア(独自算出の注目度): 9.934826033387353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Several safety-critical applications such as self-navigation, health care,
and industrial control systems use embedded systems as their core. Recent
advancements in Neural Networks (NNs) in approximating complex functions make
them well-suited for these domains. However, the compute-intensive nature of
NNs limits their deployment and training in embedded systems with limited
computation and storage capacities. Moreover, the adversarial vulnerability of
NNs challenges their use in safety-critical scenarios. Hence, developing sparse
models having robustness guarantees while leveraging fewer resources during
training is critical in expanding NNs' use in safety-critical and
resource-constrained embedding system settings. This paper presents
'VeriSparse'-- a framework to search verified locally robust sparse networks
starting from a random sparse initialization (i.e., scratch). VeriSparse
obtains sparse NNs exhibiting similar or higher verified local robustness,
requiring one-third of the training time compared to the state-of-the-art
approaches. Furthermore, VeriSparse performs both structured and unstructured
sparsification, enabling storage, computing-resource, and computation time
reduction during inference generation. Thus, it facilitates the
resource-constraint embedding platforms to leverage verified robust NN models,
expanding their scope to safety-critical, real-time, and edge applications. We
exhaustively investigated VeriSparse's efficacy and generalizability by
evaluating various benchmark and application-specific datasets across several
model architectures.
- Abstract(参考訳): セルフナビゲーション、医療、産業制御システムなどの安全クリティカルなアプリケーションでは、組み込みシステムをコアとして使用している。
複雑な関数の近似におけるニューラルネットワーク(NN)の最近の進歩は、これらの領域に適している。
しかし、NNの計算集約性は、計算能力と記憶能力に制限のある組み込みシステムでのデプロイメントとトレーニングを制限する。
さらに、NNの敵対的脆弱性は、安全クリティカルなシナリオにおける彼らの使用に挑戦する。
したがって、トレーニング中にリソースを少ない値で活用しながら堅牢性を保証するスパースモデルの開発は、nnsの安全性クリティカルな組み込みシステム設定における使用拡大に不可欠である。
本稿では,ランダムなスパース初期化(スクラッチ)から始まる,局所的に堅牢なスパースネットワークを探索するフレームワークであるVeriSparseを提案する。
VeriSparseは、最先端のアプローチと比較してトレーニング時間の3分の1を要し、同じまたは高い検証されたローカルロバスト性を示すスパースNNを取得する。
さらに、verisparseは構造化と非構造化の両方のスパーシフィケーションを実行し、ストレージ、計算リソース、計算時間の削減を可能にする。
これにより、リソース制約の組込みプラットフォームが信頼性の高い堅牢なNNモデルを活用し、そのスコープを安全クリティカル、リアルタイム、エッジアプリケーションに拡張する。
様々なモデルアーキテクチャにまたがる様々なベンチマークおよびアプリケーション固有のデータセットを評価し,verisparseの有効性と汎用性について徹底的に検討した。
関連論文リスト
- Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via
Selective Entropy Distillation [60.17626806243389]
Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。
CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
論文 参考訳(メタデータ) (2024-02-27T08:47:19Z) - A Systematic Approach to Robustness Modelling for Deep Convolutional
Neural Networks [0.294944680995069]
最近の研究は、より大きなモデルが制御された列車やテストセット外のデータに一般化できるかどうかという疑問を提起している。
本稿では,障害発生確率を時間関数としてモデル化する手法を提案する。
コスト、ロバスト性、レイテンシ、信頼性のトレードオフについて検討し、より大きなモデルが敵のロバスト性に大きく寄与しないことを示す。
論文 参考訳(メタデータ) (2024-01-24T19:12:37Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳(メタデータ) (2023-03-24T16:03:21Z) - Incremental Online Learning Algorithms Comparison for Gesture and Visual
Smart Sensors [68.8204255655161]
本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。
以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
論文 参考訳(メタデータ) (2022-09-01T17:05:20Z) - DeepSteal: Advanced Model Extractions Leveraging Efficient Weight
Stealing in Memories [26.067920958354]
Deep Neural Networks(DNN)のプライバシに対する大きな脅威の1つは、モデル抽出攻撃である。
最近の研究によると、ハードウェアベースのサイドチャネル攻撃はDNNモデル(例えばモデルアーキテクチャ)の内部知識を明らかにすることができる。
本稿では,メモリサイドチャネル攻撃の助けを借りてDNN重みを効果的に盗む,高度なモデル抽出攻撃フレームワークであるDeepStealを提案する。
論文 参考訳(メタデータ) (2021-11-08T16:55:45Z) - LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。
構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。
我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文 参考訳(メタデータ) (2021-10-08T17:03:34Z) - Federated Learning with Unreliable Clients: Performance Analysis and
Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。
しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。
クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文 参考訳(メタデータ) (2021-05-10T08:02:27Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳(メタデータ) (2021-05-07T11:39:05Z) - Compact CNN Structure Learning by Knowledge Distillation [34.36242082055978]
知識蒸留とカスタマイズ可能なブロックワイズ最適化を活用し、軽量なCNN構造を学習するフレームワークを提案する。
提案手法は,予測精度の向上を図りながら,アートネットワーク圧縮の状態を再現する。
特に,すでにコンパクトなネットワークであるMobileNet_v2では,モデル圧縮が最大2倍,モデル圧縮が5.2倍向上する。
論文 参考訳(メタデータ) (2021-04-19T10:34:22Z) - Dataless Model Selection with the Deep Frame Potential [45.16941644841897]
ネットワークをその固有の能力で定量化し、ユニークでロバストな表現を行う。
本稿では,表現安定性にほぼ関係するが,ネットワーク構造にのみ依存する最小限のコヒーレンス尺度であるディープフレームポテンシャルを提案する。
モデル選択の基準としての利用を検証するとともに,ネットワークアーキテクチャの多種多様な残差および密結合化について,一般化誤差との相関性を示す。
論文 参考訳(メタデータ) (2020-03-30T23:27:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。