論文の概要: Polynomial Time Cryptanalytic Extraction of Neural Network Models
- arxiv url: http://arxiv.org/abs/2310.08708v1
- Date: Thu, 12 Oct 2023 20:44:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-16 15:44:41.931889
- Title: Polynomial Time Cryptanalytic Extraction of Neural Network Models
- Title(参考訳): ニューラルネットワークモデルの多項式時間クリプトアナリシス抽出
- Authors: Adi Shamir, Isaac Canales-Martinez, Anna Hambitzer, Jorge Chavez-Saab,
Francisco Rodrigez-Henriquez, and Nitin Satpute
- Abstract要約: ReLUベースのディープニューラルネットワークに対する最新の攻撃は、Crypto 2020で発表された。
新しい手法により、ReLUベースのニューラルネットワークの実際のパラメータをすべて任意に高精度に抽出できる。
- 参考スコア(独自算出の注目度): 3.3466632238361393
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Billions of dollars and countless GPU hours are currently spent on training
Deep Neural Networks (DNNs) for a variety of tasks. Thus, it is essential to
determine the difficulty of extracting all the parameters of such neural
networks when given access to their black-box implementations. Many versions of
this problem have been studied over the last 30 years, and the best current
attack on ReLU-based deep neural networks was presented at Crypto 2020 by
Carlini, Jagielski, and Mironov. It resembles a differential chosen plaintext
attack on a cryptosystem, which has a secret key embedded in its black-box
implementation and requires a polynomial number of queries but an exponential
amount of time (as a function of the number of neurons). In this paper, we
improve this attack by developing several new techniques that enable us to
extract with arbitrarily high precision all the real-valued parameters of a
ReLU-based DNN using a polynomial number of queries and a polynomial amount of
time. We demonstrate its practical efficiency by applying it to a full-sized
neural network for classifying the CIFAR10 dataset, which has 3072 inputs, 8
hidden layers with 256 neurons each, and over million neuronal parameters. An
attack following the approach by Carlini et al. requires an exhaustive search
over 2 to the power 256 possibilities. Our attack replaces this with our new
techniques, which require only 30 minutes on a 256-core computer.
- Abstract(参考訳): 現在、数十億ドルと数え切れないほどのGPU時間が、さまざまなタスクのためにDeep Neural Networks(DNN)のトレーニングに費やされている。
したがって、ブラックボックスの実装にアクセスできる場合、そのようなニューラルネットワークの全てのパラメータを抽出することの難しさを判断することが不可欠である。
この問題の多くのバージョンが過去30年間に研究され、Crypto 2020でCarini、Jagielski、Mironovによって、ReLUベースのディープニューラルネットワークに対する最良の攻撃が提示された。
ブラックボックスの実装に秘密鍵を組み込んでおり、多項式のクエリ数を必要とするが、指数関数的な時間(ニューロン数の関数として)を必要とする暗号システムに対する差分選択プレーンテキスト攻撃に似ている。
本稿では,ReLUベースのDNNの実数値パラメータを多項式数と多項式時間を用いて任意の精度で抽出できる新しい手法を開発し,この攻撃を改善する。
3072の入力を持つcifar10データセット、8つの隠れレイヤと256個のニューロン、そして100万以上のニューロンパラメータを分類する、フルサイズのニューラルネットワークに適用することで、その実用性を示す。
カルリーニらによる攻撃は、256個の可能性に対して2以上の徹底的な探索を必要とする。
我々の攻撃は256コアのコンピュータで30分しか必要としない新しい技術に取って代わる。
関連論文リスト
- Polynomial Time Cryptanalytic Extraction of Deep Neural Networks in the Hard-Label Setting [45.68094593114181]
ディープニューラルネットワーク(DNN)は貴重な資産だが、その公開アクセシビリティはセキュリティ上の懸念を引き起こす。
本稿では,DNNパラメータの暗号的抽出を,最も難しいハードラベル設定で初めて行う手法を紹介する。
論文 参考訳(メタデータ) (2024-10-08T07:27:55Z) - Hard-Label Cryptanalytic Extraction of Neural Network Models [10.568722566232127]
ハードラベル設定下で機能的に等価な抽出を理論的に達成する最初の攻撃を提案する。
我々の攻撃の有効性は、広範囲のReLUニューラルネットワーク上での実践的な実験を通じて検証される。
論文 参考訳(メタデータ) (2024-09-18T02:17:10Z) - Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳(メタデータ) (2024-01-09T07:31:34Z) - Quantum Neuron Selection: Finding High Performing Subnetworks With
Quantum Algorithms [0.0]
最近、大規模でランダムなニューラルネットワークには、完全にトレーニングされたモデルだけでなく、機能する作業が含まれていることが示されている。
この洞察は、大きなランダムモデルから重みを抽出するだけで、将来のニューラルネットワークをトレーニングするための有望な道を提供する。
本稿では,このニューロン選択問題に対して量子アルゴリズムをどのように定式化して適用するかを検討する。
論文 参考訳(メタデータ) (2023-02-12T19:19:48Z) - Neural Network Optimization for Reinforcement Learning Tasks Using
Sparse Computations [3.4328283704703866]
本稿では、強化学習タスクにニューラルネットワークを最適化するスパース計算に基づく手法を提案する。
これにより、ニューラルネットワークの実行時の乗算数が大幅に削減される。
論文 参考訳(メタデータ) (2022-01-07T18:09:23Z) - Neural networks with linear threshold activations: structure and
algorithms [1.795561427808824]
クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。
また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。
我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
論文 参考訳(メタデータ) (2021-11-15T22:33:52Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳(メタデータ) (2021-09-29T07:46:54Z) - Deep Polynomial Neural Networks [77.70761658507507]
$Pi$Netsは拡張に基づいた関数近似の新しいクラスである。
$Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
論文 参考訳(メタデータ) (2020-06-20T16:23:32Z) - Cryptanalytic Extraction of Neural Network Models [56.738871473622865]
遠隔モデルのパラメータを浮動小数点精度まで効率的に盗むことができる差動攻撃を導入する。
我々の攻撃は、ReLUニューラルネットワークが一括線形関数であるという事実に依存している。
220倍の正確さと100倍のクエリを必要とするモデルを抽出する。
論文 参考訳(メタデータ) (2020-03-10T17:57:14Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。