論文の概要: HE-PEx: Efficient Machine Learning under Homomorphic Encryption using
Pruning, Permutation and Expansion
- arxiv url: http://arxiv.org/abs/2207.03384v1
- Date: Thu, 7 Jul 2022 15:49:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-08 18:57:01.020611
- Title: HE-PEx: Efficient Machine Learning under Homomorphic Encryption using
Pruning, Permutation and Expansion
- Title(参考訳): HE-PEx:Pruning, Permutation, Expansion を用いた同型暗号化下での効率的な機械学習
- Authors: Ehud Aharoni, Moran Baruch, Pradip Bose, Alper Buyuktosunoglu, Nir
Drucker, Subhankar Pal, Tomer Pelleg, Kanthi Sarpatwar, Hayim Shaul, Omri
Soceanu, Roman Vaculin
- Abstract要約: ホモモルフィック暗号(homomorphic encryption, HE)は、暗号化されたデータ上で計算を行う方法である。
そこで本研究では,待ち時間とメモリ要求を低減し,HHEにプルーニング手法の有効性をもたらす新しいプルーニング手法を提案する。
タイルテンソルと呼ばれる最近提案されたパッキング技術を用いて,重みを充填する完全連結層上での本手法の利点を実証する。
- 参考スコア(独自算出の注目度): 4.209035833239216
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Privacy-preserving neural network (NN) inference solutions have recently
gained significant traction with several solutions that provide different
latency-bandwidth trade-offs. Of these, many rely on homomorphic encryption
(HE), a method of performing computations over encrypted data. However, HE
operations even with state-of-the-art schemes are still considerably slow
compared to their plaintext counterparts. Pruning the parameters of a NN model
is a well-known approach to improving inference latency. However, pruning
methods that are useful in the plaintext context may lend nearly negligible
improvement in the HE case, as has also been demonstrated in recent work.
In this work, we propose a novel set of pruning methods that reduce the
latency and memory requirement, thus bringing the effectiveness of plaintext
pruning methods to HE. Crucially, our proposal employs two key techniques, viz.
permutation and expansion of the packed model weights, that enable pruning
significantly more ciphertexts and recuperating most of the accuracy loss,
respectively. We demonstrate the advantage of our method on fully connected
layers where the weights are packed using a recently proposed packing technique
called tile tensors, which allows executing deep NN inference in a
non-interactive mode. We evaluate our methods on various autoencoder
architectures and demonstrate that for a small mean-square reconstruction loss
of 1.5*10^{-5} on MNIST, we reduce the memory requirement and latency of
HE-enabled inference by 60%.
- Abstract(参考訳): プライバシ保存ニューラルネットワーク(nn)推論ソリューションは最近、さまざまなレイテンシー帯域幅トレードオフを提供するソリューションで大きな注目を集めている。
これらのうちの多くは、暗号化されたデータ上で計算を行う方法である同型暗号化(HE)に依存している。
しかし、最先端のスキームでも操作は平文に比べてかなり遅い。
NNモデルのパラメータを抽出することは、推論遅延を改善するためのよく知られたアプローチである。
しかし、平文文脈で有用な刈り取り法は、最近の研究でも示されているように、HEの場合においてほとんど無視できる改善をもたらす可能性がある。
そこで本研究では,遅延とメモリ要求を低減し,平文刈り手法の有効性を生かした新しい刈り込み手法を提案する。
重要な点として,本提案では,組込みモデルの重み付けと拡張の2つの重要な手法を用いて,より多くの暗号文を抽出し,精度損失の大部分を回復させる。
本稿では,最近提案するtile tensorsと呼ばれるパッキング技術を用いて,重みを満たした完全連結層において,この手法の利点を実証する。
我々は,MNISTにおける平均2乗再構成損失1.5*10^{-5}に対して,HE対応推論のメモリ要求と遅延を60%削減できることを実証した。
関連論文リスト
- Efficient Latency-Aware CNN Depth Compression via Two-Stage Dynamic
Programming [15.458305667190256]
本稿では,一般的な畳み込み操作を対象とする新しい深度圧縮アルゴリズムを提案する。
ImageNetのMobileNetV2-1.0では、0.11%の精度で1.41タイムのスピードアップを実現しています。
論文 参考訳(メタデータ) (2023-01-28T13:08:54Z) - CryptoGCN: Fast and Scalable Homomorphically Encrypted Graph
Convolutional Network Inference [12.03953896181613]
クラウドベースのグラフ畳み込みネットワーク(GCN)は、多くのプライバシに敏感なアプリケーションで大きな成功と可能性を示している。
クラウド上での推論精度とパフォーマンスは高いが、GCN推論におけるデータのプライバシの維持については、まだ明らかにされていない。
本稿では,この手法を最初に試行し,同型暗号(HE)に基づくGCN推論フレームワークであるtextitCryptoGCN$-を開発する。
論文 参考訳(メタデータ) (2022-09-24T02:20:54Z) - Neural Networks Reduction via Lumping [0.0]
操作数とモデルに関連するパラメータの両方を減らすために、多数のソリューションが公開されている。
これらの還元技術の多くは実際には手法であり、通常、精度を回復するために少なくとも1つの再訓練ステップを必要とする。
データや微調整を使わずにネットワーク内のニューロン数を削減し,正確な動作を完全に保存するプルーニング手法を提案する。
論文 参考訳(メタデータ) (2022-09-15T17:13:07Z) - An Information Theory-inspired Strategy for Automatic Network Pruning [88.51235160841377]
深層畳み込みニューラルネットワークは、リソース制約のあるデバイスで圧縮されることがよく知られている。
既存のネットワークプルーニング手法の多くは、人的努力と禁忌な計算資源を必要とする。
本稿では,自動モデル圧縮のための情報理論に基づく戦略を提案する。
論文 参考訳(メタデータ) (2021-08-19T07:03:22Z) - Circa: Stochastic ReLUs for Private Deep Learning [6.538025863698682]
我々はReLU計算を再考し、ニューラルネットワークに適したPIの最適化を提案する。
具体的には,ReLUを近似手形テストとして再構成し,手形テストのための新しい切り抜き手法を導入する。
最大4.7倍のストレージと3倍のランタイムをベースライン実装で実現した。
論文 参考訳(メタデータ) (2021-06-15T22:52:45Z) - Improved Branch and Bound for Neural Network Verification via Lagrangian
Decomposition [161.09660864941603]
ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。
活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。
BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
論文 参考訳(メタデータ) (2021-04-14T09:22:42Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳(メタデータ) (2021-03-10T03:59:03Z) - Targeted Attack against Deep Neural Networks via Flipping Limited Weight
Bits [55.740716446995805]
我々は,悪質な目的で展開段階におけるモデルパラメータを修飾する新しい攻撃パラダイムについて検討する。
私たちのゴールは、特定のサンプルをサンプル修正なしでターゲットクラスに誤分類することです。
整数プログラミングにおける最新の手法を利用することで、このBIP問題を連続最適化問題として等価に再構成する。
論文 参考訳(メタデータ) (2021-02-21T03:13:27Z) - Successive Pruning for Model Compression via Rate Distortion Theory [15.598364403631528]
NN圧縮を情報理論的手法を用いて検討し, NN圧縮の理論的限界を達成するために, 速度歪み理論がプルーニングを示唆していることを示す。
我々の導出は、新しいプルーニング戦略を含むエンドツーエンドの圧縮パイプラインも提供する。
本手法は,既存のプルーニング戦略を一貫して上回り,プルーニングモデルのサイズを2.5倍小さくする。
論文 参考訳(メタデータ) (2021-02-16T18:17:57Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳(メタデータ) (2020-06-28T23:09:27Z) - Lagrangian Decomposition for Neural Network Verification [148.0448557991349]
ニューラルネットワーク検証の基本的なコンポーネントは、出力が取ることのできる値のバウンダリの計算である。
ラグランジアン分解に基づく新しい手法を提案する。
ランニングタイムのごく一部で、既成の解法に匹敵するバウンダリが得られることを示す。
論文 参考訳(メタデータ) (2020-02-24T17:55:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。