論文の概要: TDPP: Two-Dimensional Permutation-Based Protection of Memristive Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2310.06989v1
- Date: Tue, 10 Oct 2023 20:22:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 02:42:56.314410
- Title: TDPP: Two-Dimensional Permutation-Based Protection of Memristive Deep Neural Networks
- Title（参考訳）: TDPP:メムリシブディープニューラルネットワークの2次元置換に基づく保護
- Authors: Minhui Zou, Zhenhua Zhu, Tzofnat Greenberg-Toledo, Orian Leitersdorf, Jiang Li, Junlong Zhou, Yu Wang, Nan Du, Shahar Kvatinsky,
- Abstract要約: メムリシブデバイスの不揮発性は、メムリシブクロスバーに保存されたDNN重量を盗難攻撃の可能性に晒す可能性がある。
本稿では、このような攻撃を阻止する2次元置換型保護法(TDPP)を提案する。
- 参考スコア（独自算出の注目度）: 17.126478919408132
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The execution of deep neural network (DNN) algorithms suffers from significant bottlenecks due to the separation of the processing and memory units in traditional computer systems. Emerging memristive computing systems introduce an in situ approach that overcomes this bottleneck. The non-volatility of memristive devices, however, may expose the DNN weights stored in memristive crossbars to potential theft attacks. Therefore, this paper proposes a two-dimensional permutation-based protection (TDPP) method that thwarts such attacks. We first introduce the underlying concept that motivates the TDPP method: permuting both the rows and columns of the DNN weight matrices. This contrasts with previous methods, which focused solely on permuting a single dimension of the weight matrices, either the rows or columns. While it's possible for an adversary to access the matrix values, the original arrangement of rows and columns in the matrices remains concealed. As a result, the extracted DNN model from the accessed matrix values would fail to operate correctly. We consider two different memristive computing systems (designed for layer-by-layer and layer-parallel processing, respectively) and demonstrate the design of the TDPP method that could be embedded into the two systems. Finally, we present a security analysis. Our experiments demonstrate that TDPP can achieve comparable effectiveness to prior approaches, with a high level of security when appropriately parameterized. In addition, TDPP is more scalable than previous methods and results in reduced area and power overheads. The area and power are reduced by, respectively, 1218$\times$ and 2815$\times$ for the layer-by-layer system and by 178$\times$ and 203$\times$ for the layer-parallel system compared to prior works.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)アルゴリズムの実行は、従来のコンピュータシステムにおける処理ユニットとメモリユニットの分離による重大なボトルネックに悩まされている。
新興メムリシブコンピューティングシステムは、このボトルネックを克服するin situアプローチを導入している。
しかし、メムリシティブデバイスの不揮発性は、メムリシティブクロスバーに保存されたDNN重量を盗難攻撃の可能性に晒す可能性がある。
そこで本研究では,このような攻撃を阻止する2次元置換型保護法を提案する。
まず、DNN重み行列の行と列を置換するTDPP法を動機づける基礎概念を紹介する。
これは従来の方法とは対照的であり、重み行列の1次元を行または列のどちらかに置換することにのみ焦点をあてていた。
敵が行列値にアクセスすることは可能だが、行列内の行と列の元々の配列は隠されている。
その結果、アクセスされた行列値から抽出されたDNNモデルは正しく動作しなかった。
本稿では,2つの異なる計算システム(層間および層間並列処理用に設計された)について検討し,その2つのシステムに組み込むことができるTDPP法の設計を実証する。
最後に,セキュリティ分析について述べる。
実験により,TDPPはパラメータ化を適切に行うと高いセキュリティで,従来の手法に匹敵する有効性を達成できることが実証された。
さらに、TDPPは従来の方法よりもスケーラブルであり、結果として面積と電力のオーバーヘッドが減少する。
面積と電力は、それぞれ1218$\times$と2815$\times$と178$\times$と203$\times$によって削減される。
関連論文リスト
- Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation [53.88562288388169]
一般的な戦略である。
事前訓練された視覚変換器(ViT)のPEFT(Efficient Fine-Tuning)は、下流タスクにモデルを適応させる。
適応行列を表現するために,Singular Value Decomposition (SVD) にインスパイアされた新しいPEFT手法を提案する。
SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。
論文 参考訳（メタデータ） (2024-10-30T12:08:30Z) - A Mini-Block Natural Gradient Method for Deep Neural Networks [12.48022619079224]
我々は、近似自然勾配法、ミニブロックフィッシャー(MBF)の収束性を提案し、解析する。
提案手法では,一般化の並列性を利用して,各層内の多数の行列を効率的に処理する。
論文 参考訳（メタデータ） (2022-02-08T20:01:48Z) - Fast Differentiable Matrix Square Root and Inverse Square Root [65.67315418971688]
微分可能な行列平方根と逆平方根を計算するためのより効率的な2つの変種を提案する。
前方伝搬には, Matrix Taylor Polynomial (MTP) を用いる方法と, Matrix Pad'e Approximants (MPA) を使用する方法がある。
一連の数値実験により、両方の手法がSVDやNSの繰り返しと比較してかなりスピードアップすることが示された。
論文 参考訳（メタデータ） (2022-01-29T10:00:35Z) - Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。
本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文 参考訳（メタデータ） (2021-09-10T07:01:15Z) - Power-Based Attacks on Spatial DNN Accelerators [11.536650557854324]
本稿では,一般的な8ビット数表現を用いた空間加速器の脆弱性について検討する。
複数のプロファイリングフェーズを持つテンプレートベースの新しいDPAは、たった40Kトレースで2D配列を完全に破壊することができる。
論文 参考訳（メタデータ） (2021-08-28T05:25:03Z) - FORMS: Fine-grained Polarized ReRAM-based In-situ Computation for
Mixed-signal DNN Accelerator [33.19099033687952]
FORMSは、偏極重みを持つ微粒なReRAMベースのDNNアクセラレータである。
ISAACよりも1秒あたりのスループット向上とスピードアップを実現している。
論文 参考訳（メタデータ） (2021-06-16T21:42:08Z) - Stochastic Block-ADMM for Training Deep Networks [16.369102155752824]
ディープニューラルネットワークをバッチおよびオンライン設定でトレーニングする手法として,Block-ADMMを提案する。
本手法はニューラルネットワークを任意の数のブロックに分割し,これらのブロックを補助変数で接続する。
我々は,提案手法の収束を証明し,教師あり・弱教師あり設定実験を通じてその能力の正当化を行う。
論文 参考訳（メタデータ） (2021-05-01T19:56:13Z) - Partitioning sparse deep neural networks for scalable training and
inference [8.282177703075453]
最先端のディープニューラルネットワーク(DNN)には、計算とデータ管理の大幅な要件がある。
スパシフィケーション法とプルーニング法は,DNNの大量の接続を除去するのに有効であることが示されている。
その結果得られたスパースネットワークは、ディープラーニングにおけるトレーニングと推論の計算効率をさらに向上するためのユニークな課題を提示する。
論文 参考訳（メタデータ） (2021-04-23T20:05:52Z) - Joint Deep Reinforcement Learning and Unfolding: Beam Selection and
Precoding for mmWave Multiuser MIMO with Lens Arrays [54.43962058166702]
離散レンズアレイを用いたミリ波マルチユーザマルチインプット多重出力(MU-MIMO)システムに注目が集まっている。
本研究では、DLA を用いた mmWave MU-MIMO システムのビームプリコーディング行列の共同設計について検討する。
論文 参考訳（メタデータ） (2021-01-05T03:55:04Z) - Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality
Regularization and Singular Value Sparsification [53.50708351813565]
各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。
SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
論文 参考訳（メタデータ） (2020-04-20T02:40:43Z) - Controllable Orthogonalization in Training DNNs [96.1365404059924]
直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。
本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。
本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。
また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
論文 参考訳（メタデータ） (2020-04-02T10:14:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。