論文の概要: VeriCompress: A Tool to Streamline the Synthesis of Verified Robust
Compressed Neural Networks from Scratch
- arxiv url: http://arxiv.org/abs/2211.09945v7
- Date: Tue, 21 Nov 2023 18:03:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 05:54:05.279430
- Title: VeriCompress: A Tool to Streamline the Synthesis of Verified Robust
Compressed Neural Networks from Scratch
- Title(参考訳): VeriCompress: 検証されたロバスト圧縮ニューラルネットワークの合成をスクラッチから効率化するツール
- Authors: Sawinder Kaur, Yi Xiao, Asif Salekin
- Abstract要約: AIの広範な統合により、安全クリティカルなシナリオのために、エッジや同様のリミテッドリソースプラットフォームにニューラルネットワーク(NN)がデプロイされるようになる。
本研究では,頑健性を保証する圧縮モデルの検索とトレーニングを自動化するツールであるVeriCompressを紹介する。
この方法は、最先端のアプローチよりも2~3倍高速で、それぞれ15.1ポイントと9.8ポイントの平均精度とロバスト性ゲインで関連するベースラインアプローチを上回ります。
- 参考スコア(独自算出の注目度): 10.061078548888567
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI's widespread integration has led to neural networks (NNs) deployment on
edge and similar limited-resource platforms for safety-critical scenarios. Yet,
NN's fragility raises concerns about reliable inference. Moreover, constrained
platforms demand compact networks. This study introduces VeriCompress, a tool
that automates the search and training of compressed models with robustness
guarantees. These models are well-suited for safety-critical applications and
adhere to predefined architecture and size limitations, making them deployable
on resource-restricted platforms. The method trains models 2-3 times faster
than the state-of-the-art approaches, surpassing relevant baseline approaches
by average accuracy and robustness gains of 15.1 and 9.8 percentage points,
respectively. When deployed on a resource-restricted generic platform, these
models require 5-8 times less memory and 2-4 times less inference time than
models used in verified robustness literature. Our comprehensive evaluation
across various model architectures and datasets, including MNIST, CIFAR, SVHN,
and a relevant pedestrian detection dataset, showcases VeriCompress's capacity
to identify compressed verified robust models with reduced computation overhead
compared to current standards. This underscores its potential as a valuable
tool for end users, such as developers of safety-critical applications on edge
or Internet of Things platforms, empowering them to create suitable models for
safety-critical, resource-constrained platforms in their respective domains.
- Abstract(参考訳): AIの広範な統合により、安全クリティカルなシナリオのために、エッジや同様のリミテッドリソースプラットフォームにニューラルネットワーク(NN)がデプロイされる。
しかし、nnの脆弱さは信頼できる推論に関する懸念を引き起こす。
さらに、制約付きプラットフォームはコンパクトネットワークを要求する。
本研究は,ロバスト性を保証する圧縮モデルの探索とトレーニングを自動化するツールであるvericompressを紹介する。
これらのモデルは安全クリティカルなアプリケーションに適しているため、事前定義されたアーキテクチャとサイズ制限に準拠し、リソース制限のあるプラットフォームにデプロイ可能である。
この方法は、最先端のアプローチよりも2~3倍高速にモデルを訓練し、関連するベースラインアプローチを15.1ポイントと9.8ポイントの平均精度と堅牢性向上で上回った。
リソース制限のあるジェネリックプラットフォームにデプロイする場合、これらのモデルは、5-8倍のメモリと2-4倍の推論時間を必要とする。
MNIST, CIFAR, SVHN, および関連する歩行者検出データセットを含む, さまざまなモデルアーキテクチャおよびデータセットに対する包括的評価では, 計算オーバーヘッドを減らした圧縮されたロバストモデルを特定するVeriCompressの能力を示す。
これにより、エッジ上の安全クリティカルなアプリケーションやiotプラットフォームの開発など、エンドユーザにとって価値のあるツールとしての可能性が高まり、それぞれのドメインにおいて、安全クリティカルでリソース制約のあるプラットフォームに適したモデルの開発が可能になる。
関連論文リスト
- Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via
Selective Entropy Distillation [60.17626806243389]
Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。
CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
論文 参考訳(メタデータ) (2024-02-27T08:47:19Z) - A Systematic Approach to Robustness Modelling for Deep Convolutional
Neural Networks [0.294944680995069]
最近の研究は、より大きなモデルが制御された列車やテストセット外のデータに一般化できるかどうかという疑問を提起している。
本稿では,障害発生確率を時間関数としてモデル化する手法を提案する。
コスト、ロバスト性、レイテンシ、信頼性のトレードオフについて検討し、より大きなモデルが敵のロバスト性に大きく寄与しないことを示す。
論文 参考訳(メタデータ) (2024-01-24T19:12:37Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳(メタデータ) (2023-03-24T16:03:21Z) - Incremental Online Learning Algorithms Comparison for Gesture and Visual
Smart Sensors [68.8204255655161]
本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。
以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
論文 参考訳(メタデータ) (2022-09-01T17:05:20Z) - DeepSteal: Advanced Model Extractions Leveraging Efficient Weight
Stealing in Memories [26.067920958354]
Deep Neural Networks(DNN)のプライバシに対する大きな脅威の1つは、モデル抽出攻撃である。
最近の研究によると、ハードウェアベースのサイドチャネル攻撃はDNNモデル(例えばモデルアーキテクチャ)の内部知識を明らかにすることができる。
本稿では,メモリサイドチャネル攻撃の助けを借りてDNN重みを効果的に盗む,高度なモデル抽出攻撃フレームワークであるDeepStealを提案する。
論文 参考訳(メタデータ) (2021-11-08T16:55:45Z) - LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。
構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。
我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文 参考訳(メタデータ) (2021-10-08T17:03:34Z) - Federated Learning with Unreliable Clients: Performance Analysis and
Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。
しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。
クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文 参考訳(メタデータ) (2021-05-10T08:02:27Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳(メタデータ) (2021-05-07T11:39:05Z) - Compact CNN Structure Learning by Knowledge Distillation [34.36242082055978]
知識蒸留とカスタマイズ可能なブロックワイズ最適化を活用し、軽量なCNN構造を学習するフレームワークを提案する。
提案手法は,予測精度の向上を図りながら,アートネットワーク圧縮の状態を再現する。
特に,すでにコンパクトなネットワークであるMobileNet_v2では,モデル圧縮が最大2倍,モデル圧縮が5.2倍向上する。
論文 参考訳(メタデータ) (2021-04-19T10:34:22Z) - Dataless Model Selection with the Deep Frame Potential [45.16941644841897]
ネットワークをその固有の能力で定量化し、ユニークでロバストな表現を行う。
本稿では,表現安定性にほぼ関係するが,ネットワーク構造にのみ依存する最小限のコヒーレンス尺度であるディープフレームポテンシャルを提案する。
モデル選択の基準としての利用を検証するとともに,ネットワークアーキテクチャの多種多様な残差および密結合化について,一般化誤差との相関性を示す。
論文 参考訳(メタデータ) (2020-03-30T23:27:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。