論文の概要: Efficient Pruning for Machine Learning Under Homomorphic Encryption
- arxiv url: http://arxiv.org/abs/2207.03384v2
- Date: Mon, 04 Nov 2024 16:32:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-06 14:56:47.004849
- Title: Efficient Pruning for Machine Learning Under Homomorphic Encryption
- Title（参考訳）: 同型暗号化下での機械学習のための効率的なプルーニング
- Authors: Ehud Aharoni, Moran Baruch, Pradip Bose, Alper Buyuktosunoglu, Nir Drucker, Subhankar Pal, Tomer Pelleg, Kanthi Sarpatwar, Hayim Shaul, Omri Soceanu, Roman Vaculin,
- Abstract要約: プライバシ保護機械学習(PPML)ソリューションが広く普及している。
多くの人は、モデルとデータの機密性を提供する同型暗号化(HE)に頼っているが、大きなレイテンシとメモリ要求のコストがかかる。
我々は、PPML推論のレイテンシとメモリを削減するために、タイルテンソルと呼ばれるパッキング技術の上に、新しいプルーニング手法を含むHE-PExというフレームワークを導入する。
- 参考スコア（独自算出の注目度）: 2.2817485071636376
- License:
- Abstract: Privacy-preserving machine learning (PPML) solutions are gaining widespread popularity. Among these, many rely on homomorphic encryption (HE) that offers confidentiality of the model and the data, but at the cost of large latency and memory requirements. Pruning neural network (NN) parameters improves latency and memory in plaintext ML but has little impact if directly applied to HE-based PPML. We introduce a framework called HE-PEx that comprises new pruning methods, on top of a packing technique called tile tensors, for reducing the latency and memory of PPML inference. HE-PEx uses permutations to prune additional ciphertexts, and expansion to recover inference loss. We demonstrate the effectiveness of our methods for pruning fully-connected and convolutional layers in NNs on PPML tasks, namely, image compression, denoising, and classification, with autoencoders, multilayer perceptrons (MLPs) and convolutional neural networks (CNNs). We implement and deploy our networks atop a framework called HElayers, which shows a 10-35% improvement in inference speed and a 17-35% decrease in memory requirement over the unpruned network, corresponding to 33-65% fewer ciphertexts, within a 2.5% degradation in inference accuracy over the unpruned network. Compared to the state-of-the-art pruning technique for PPML, our techniques generate networks with 70% fewer ciphertexts, on average, for the same degradation limit.
- Abstract（参考訳）: プライバシ保護機械学習(PPML)ソリューションが広く普及している。
それらの中には、モデルとデータの機密性を提供する同型暗号化(HE)に頼っているものも少なくないが、大きなレイテンシとメモリ要件を犠牲にしているものも多い。
Pruning Neural Network(NN)パラメータは、プレーンテキストMLのレイテンシとメモリを改善するが、HEベースのPPMLに直接適用した場合は、ほとんど影響しない。
我々は、PPML推論のレイテンシとメモリを削減するために、タイルテンソルと呼ばれるパッキング技術の上に、新しいプルーニング手法を含むHE-PExというフレームワークを導入する。
HE-PExは置換を使って追加の暗号文をプルークし、拡張して推論損失を回復する。
我々は,自己エンコーダ,多層パーセプトロン(MLP),畳み込みニューラルネットワーク(CNN)を用いたPPMLタスクにおいて,NNの完全連結層と畳み込み層を抽出する手法の有効性を実証した。
我々はHElayersと呼ばれるフレームワーク上にネットワークを実装し展開し、未実行ネットワーク上での推論速度を10～35%改善し、17～35%のメモリ要求を減らし、33～65%の暗号文を減らし、未実行ネットワーク上での推論精度を2.5%劣化させる。
PPMLの最先端プルーニング技術と比較して, 平均して70%少ない暗号文を持つネットワークを, 同じ劣化限界で生成する。
関連論文リスト
- DNN Memory Footprint Reduction via Post-Training Intra-Layer Multi-Precision Quantization [0.0]
本稿では,資源制約エッジデバイス上でのディープニューラルネットワーク(DNN)モデルのメモリフットプリントを効果的に削減する手法を提案する。
提案手法は,PTILMPQ (Post-Training intra-Layer Multi-Precision Quantization) と名付けられ,トレーニング後の量子化手法を用いて,広範囲なトレーニングデータを必要としない。
論文 参考訳（メタデータ） (2024-04-03T15:06:09Z) - A Masked Pruning Approach for Dimensionality Reduction in
Communication-Efficient Federated Learning Systems [11.639503711252663]
Federated Learning(FL)は、多数のノードにわたるモデルのトレーニング用に設計された、成長する機械学習(ML)パラダイムである。
本研究では, フラニング法とFL法を組み合わせることにより, 限界を克服する新しいアルゴリズムを開発した。
本研究は,MPFLの既存手法と比較して優れた性能を示す広範囲な実験的研究である。
論文 参考訳（メタデータ） (2023-12-06T20:29:23Z) - EPIM: Efficient Processing-In-Memory Accelerators based on Epitome [78.79382890789607]
畳み込みのような機能を提供する軽量神経オペレータであるEpitomeを紹介する。
ソフトウェア側では,PIMアクセラレータ上でのエピトームのレイテンシとエネルギを評価する。
ハードウェア効率を向上させるため,PIM対応層設計手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T17:56:39Z) - Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳（メタデータ） (2023-09-12T13:03:47Z) - Lightweight and Progressively-Scalable Networks for Semantic
Segmentation [100.63114424262234]
マルチスケール学習フレームワークは,セマンティックセグメンテーションを向上する有効なモデルのクラスと見なされてきた。
本稿では,畳み込みブロックの設計と,複数スケールにわたる相互作用の仕方について,徹底的に解析する。
我々は,軽量で拡張性の高いネットワーク(LPS-Net)を考案した。
論文 参考訳（メタデータ） (2022-07-27T16:00:28Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - MAFAT: Memory-Aware Fusing and Tiling of Neural Networks for Accelerated
Edge Inference [1.7894377200944507]
機械学習ネットワークは、利用可能なメモリを容易に越えることができ、OSの過度なスワップによってレイテンシが増加する。
本稿では,メモリ使用量予測器と探索アルゴリズムを組み合わせることで,最適化されたファジングとタイリングの構成を提供する。
その結果、我々のアプローチはメモリの半分以下で実行でき、メモリの厳しい制約下では最大2.78の高速化を実現している。
論文 参考訳（メタデータ） (2021-07-14T19:45:49Z) - Layer Pruning via Fusible Residual Convolutional Block for Deep Neural
Networks [15.64167076052513]
レイヤプルーニングは、同じFLOPとパラメータの数でプルーニングされる場合、推論時間と実行時のメモリ使用量が少なくなる。
残差畳み込みブロック(ResConv)を用いた簡単な層切断法を提案する。
本手法は, 異なるデータセット上での最先端技術に対する圧縮と加速の優れた性能を実現する。
論文 参考訳（メタデータ） (2020-11-29T12:51:16Z) - MicroNet: Towards Image Recognition with Extremely Low FLOPs [117.96848315180407]
MicroNetは計算コストの極めて低い効率的な畳み込みニューラルネットワークである。
MicroNetのファミリは、低いFLOP体制における最先端技術よりも大きなパフォーマンス向上を実現している。
例えば、MicroNet-M1は12のMFLOPを持つImageNet分類において61.1%のトップ-1の精度を達成し、MobileNetV3を11.3%上回っている。
論文 参考訳（メタデータ） (2020-11-24T18:59:39Z) - A Variational Information Bottleneck Based Method to Compress Sequential
Networks for Human Action Recognition [9.414818018857316]
本稿では,人間行動認識(HAR)に用いるリカレントニューラルネットワーク(RNN)を効果的に圧縮する手法を提案する。
変分情報ボトルネック(VIB)理論に基づくプルーニング手法を用いて,RNNの逐次セルを流れる情報の流れを小さなサブセットに制限する。
我々は、圧縮を大幅に改善する特定のグループ・ラッソ正規化手法とプルーニング手法を組み合わせる。
提案手法は,UCF11上での動作認識の精度に比較して,最も近い競合に比べて70倍以上の圧縮を実現する。
論文 参考訳（メタデータ） (2020-10-03T12:41:51Z) - ALF: Autoencoder-based Low-rank Filter-sharing for Efficient
Convolutional Neural Networks [63.91384986073851]
オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。
ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
論文 参考訳（メタデータ） (2020-07-27T09:01:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。