論文の概要: Secure and Storage-Efficient Deep Learning Models for Edge AI Using Automatic Weight Generation
- arxiv url: http://arxiv.org/abs/2507.06380v1
- Date: Tue, 08 Jul 2025 20:33:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-10 17:37:43.383472
- Title: Secure and Storage-Efficient Deep Learning Models for Edge AI Using Automatic Weight Generation
- Title（参考訳）: 自動重み生成を用いたエッジAIのためのセキュリティとストレージ効率の良いディープラーニングモデル
- Authors: Habibur Rahaman, Atri Chatterjee, Swarup Bhunia,
- Abstract要約: WINGsは、完全に接続されたニューラルネットワーク(FC)の層重みを動的に生成する新しいフレームワークである
推論中に畳み込みニューラルネットワーク(CNN)の重みを圧縮し、精度を犠牲にすることなくメモリ要求を大幅に削減する。
感度認識設計は、圧縮層に重みを持つビットフリップ攻撃が、精度に増幅され、容易に検出可能な影響を持つため、さらなるセキュリティレベルを提供する。
- 参考スコア（独自算出の注目度）: 5.097354139604596
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Complex neural networks require substantial memory to store a large number of synaptic weights. This work introduces WINGs (Automatic Weight Generator for Secure and Storage-Efficient Deep Learning Models), a novel framework that dynamically generates layer weights in a fully connected neural network (FC) and compresses the weights in convolutional neural networks (CNNs) during inference, significantly reducing memory requirements without sacrificing accuracy. WINGs framework uses principal component analysis (PCA) for dimensionality reduction and lightweight support vector regression (SVR) models to predict layer weights in the FC networks, removing the need for storing full-weight matrices and achieving substantial memory savings. It also preferentially compresses the weights in low-sensitivity layers of CNNs using PCA and SVR with sensitivity analysis. The sensitivity-aware design also offers an added level of security, as any bit-flip attack with weights in compressed layers has an amplified and readily detectable effect on accuracy. WINGs achieves 53x compression for the FC layers and 28x for AlexNet with MNIST dataset, and 18x for Alexnet with CIFAR-10 dataset with 1-2% accuracy loss. This significant reduction in memory results in higher throughput and lower energy for DNN inference, making it attractive for resource-constrained edge applications.
- Abstract（参考訳）: 複雑なニューラルネットワークは、多くのシナプス重みを保持するためにかなりのメモリを必要とする。
WING(Automatic Weight Generator for Secure and Storage-Efficient Deep Learning Models)は、完全に接続されたニューラルネットワーク(FC)の層重みを動的に生成し、推論中に畳み込みニューラルネットワーク(CNN)の重みを圧縮する新しいフレームワークである。
WINGsフレームワークは、主成分分析(PCA)を用いて、次元減少とSVRモデルを用いて、FCネットワークの層重を予測し、フルウェイト行列を保存する必要をなくし、かなりのメモリ節約を達成する。
また、PCAおよびSVRを用いて、CNNの低感度層における重みを感度解析で優先的に圧縮する。
感度認識設計は、圧縮層に重みを持つビットフリップ攻撃が、精度に増幅され、容易に検出可能な影響を持つため、さらなるセキュリティレベルを提供する。
WINGは、FCレイヤの53倍圧縮、MNISTデータセットのAlexNetの28倍、CIFAR-10データセットのAlexnetの18倍の精度で1-2%の精度で達成している。
このメモリの大幅な削減は、DNN推論のスループットの向上と低エネルギー化をもたらし、リソース制約されたエッジアプリケーションにとって魅力的なものとなった。
関連論文リスト
- "Lossless" Compression of Deep Neural Networks: A High-dimensional
Neural Tangent Kernel Approach [49.744093838327615]
広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。
提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
論文 参考訳（メタデータ） (2024-03-01T03:46:28Z) - BiTAT: Neural Network Binarization with Task-dependent Aggregated
Transformation [116.26521375592759]
量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。
コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。
本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
論文 参考訳（メタデータ） (2022-07-04T13:25:49Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - Compact Multi-level Sparse Neural Networks with Input Independent
Dynamic Rerouting [33.35713740886292]
疎いディープニューラルネットワークは、モデルの複雑さとメモリ消費を大幅に減らすことができる。
現実の課題に直面する中で,複数のスパースレベルをサポートするスパースモデルをトレーニングすることを提案する。
このようにして、推論中に適切なスパーシティレベルを動的に選択でき、ストレージコストを最小のスパースサブモデルで抑えることができる。
論文 参考訳（メタデータ） (2021-12-21T01:35:51Z) - Nonlinear Tensor Ring Network [39.89070144585793]
最先端のディープニューラルネットワーク(DNN)は、様々な現実世界のアプリケーションに広く適用されており、認知問題に対して大きなパフォーマンスを実現している。
冗長モデルをコンパクトなモデルに変換することで、圧縮技術はストレージとメモリ消費を減らすための実用的な解決策であるように見える。
本稿では,完全連結層と畳み込み層の両方を圧縮した非線形テンソルリングネットワーク(NTRN)を開発する。
論文 参考訳（メタデータ） (2021-11-12T02:02:55Z) - DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and
Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。
我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文 参考訳（メタデータ） (2021-09-21T09:57:21Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - Lightweight Compression of Intermediate Neural Network Features for
Collaborative Intelligence [32.03465747357384]
協調インテリジェンスアプリケーションでは、ディープニューラルネットワーク(DNN)の一部が携帯電話やエッジデバイスなどの軽量デバイスにデプロイされます。
本稿では,分割DNNの中間層によって出力される特徴を量子化し圧縮する,新しい軽量圧縮技術を提案する。
論文 参考訳（メタデータ） (2021-05-15T00:10:12Z) - Lightweight compression of neural network feature tensors for
collaborative intelligence [32.03465747357384]
協調インテリジェンスアプリケーションでは、ディープニューラルネットワーク(DNN)の一部は、携帯電話やエッジデバイスなどの比較的低い複雑さのデバイスにデプロイされます。
本稿では,スプリットdnn層のアクティベーションをコード化するために設計された新しい軽量圧縮技術を提案する。
論文 参考訳（メタデータ） (2021-05-12T23:41:35Z) - Hessian Aware Quantization of Spiking Neural Networks [1.90365714903665]
ニューロモルフィックアーキテクチャは、可変ビット精度と局所ビット精度の大規模並列計算を可能にする。
SNNトレーニングの現在の勾配に基づく方法は、複数の状態変数を持つ複雑なニューロンモデルを使用する。
我々は、勾配に基づくトレーニングと互換性を保ちつつ、状態変数の数を4倍に削減する単純化されたニューロンモデルを提案する。
論文 参考訳（メタデータ） (2021-04-29T05:27:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。