Fugu-MT 論文翻訳(概要): HE-PEx: Efficient Machine Learning under Homomorphic Encryption using Pruning, Permutation and Expansion

論文の概要: HE-PEx: Efficient Machine Learning under Homomorphic Encryption using Pruning, Permutation and Expansion

arxiv url: http://arxiv.org/abs/2207.03384v1
Date: Thu, 7 Jul 2022 15:49:24 GMT
ステータス: 処理完了
システム内更新日: 2022-07-08 18:57:01.020611
Title: HE-PEx: Efficient Machine Learning under Homomorphic Encryption using Pruning, Permutation and Expansion
Title（参考訳）: HE-PEx:Pruning, Permutation, Expansion を用いた同型暗号化下での効率的な機械学習
Authors: Ehud Aharoni, Moran Baruch, Pradip Bose, Alper Buyuktosunoglu, Nir Drucker, Subhankar Pal, Tomer Pelleg, Kanthi Sarpatwar, Hayim Shaul, Omri Soceanu, Roman Vaculin
Abstract要約: ホモモルフィック暗号(homomorphic encryption, HE)は、暗号化されたデータ上で計算を行う方法である。そこで本研究では,待ち時間とメモリ要求を低減し,HHEにプルーニング手法の有効性をもたらす新しいプルーニング手法を提案する。タイルテンソルと呼ばれる最近提案されたパッキング技術を用いて,重みを充填する完全連結層上での本手法の利点を実証する。
参考スコア（独自算出の注目度）: 4.209035833239216
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Privacy-preserving neural network (NN) inference solutions have recently gained significant traction with several solutions that provide different latency-bandwidth trade-offs. Of these, many rely on homomorphic encryption (HE), a method of performing computations over encrypted data. However, HE operations even with state-of-the-art schemes are still considerably slow compared to their plaintext counterparts. Pruning the parameters of a NN model is a well-known approach to improving inference latency. However, pruning methods that are useful in the plaintext context may lend nearly negligible improvement in the HE case, as has also been demonstrated in recent work. In this work, we propose a novel set of pruning methods that reduce the latency and memory requirement, thus bringing the effectiveness of plaintext pruning methods to HE. Crucially, our proposal employs two key techniques, viz. permutation and expansion of the packed model weights, that enable pruning significantly more ciphertexts and recuperating most of the accuracy loss, respectively. We demonstrate the advantage of our method on fully connected layers where the weights are packed using a recently proposed packing technique called tile tensors, which allows executing deep NN inference in a non-interactive mode. We evaluate our methods on various autoencoder architectures and demonstrate that for a small mean-square reconstruction loss of 1.5*10^{-5} on MNIST, we reduce the memory requirement and latency of HE-enabled inference by 60%.
Abstract（参考訳）: プライバシ保存ニューラルネットワーク(nn)推論ソリューションは最近、さまざまなレイテンシー帯域幅トレードオフを提供するソリューションで大きな注目を集めている。これらのうちの多くは、暗号化されたデータ上で計算を行う方法である同型暗号化(HE)に依存している。しかし、最先端のスキームでも操作は平文に比べてかなり遅い。 NNモデルのパラメータを抽出することは、推論遅延を改善するためのよく知られたアプローチである。しかし、平文文脈で有用な刈り取り法は、最近の研究でも示されているように、HEの場合においてほとんど無視できる改善をもたらす可能性がある。そこで本研究では,遅延とメモリ要求を低減し,平文刈り手法の有効性を生かした新しい刈り込み手法を提案する。重要な点として,本提案では,組込みモデルの重み付けと拡張の2つの重要な手法を用いて,より多くの暗号文を抽出し,精度損失の大部分を回復させる。本稿では,最近提案するtile tensorsと呼ばれるパッキング技術を用いて,重みを満たした完全連結層において,この手法の利点を実証する。我々は,MNISTにおける平均2乗再構成損失1.5*10^{-5}に対して,HE対応推論のメモリ要求と遅延を60%削減できることを実証した。

関連論文リスト

DNN Memory Footprint Reduction via Post-Training Intra-Layer Multi-Precision Quantization [0.0]
本稿では,資源制約エッジデバイス上でのディープニューラルネットワーク(DNN)モデルのメモリフットプリントを効果的に削減する手法を提案する。提案手法は,PTILMPQ (Post-Training intra-Layer Multi-Precision Quantization) と名付けられ,トレーニング後の量子化手法を用いて,広範囲なトレーニングデータを必要としない。
論文参考訳（メタデータ） (2024-04-03T15:06:09Z)
A Masked Pruning Approach for Dimensionality Reduction in Communication-Efficient Federated Learning Systems [11.639503711252663]
Federated Learning(FL)は、多数のノードにわたるモデルのトレーニング用に設計された、成長する機械学習(ML)パラダイムである。本研究では, フラニング法とFL法を組み合わせることにより, 限界を克服する新しいアルゴリズムを開発した。本研究は,MPFLの既存手法と比較して優れた性能を示す広範囲な実験的研究である。
論文参考訳（メタデータ） (2023-12-06T20:29:23Z)
EPIM: Efficient Processing-In-Memory Accelerators based on Epitome [78.79382890789607]
畳み込みのような機能を提供する軽量神経オペレータであるEpitomeを紹介する。ソフトウェア側では,PIMアクセラレータ上でのエピトームのレイテンシとエネルギを評価する。ハードウェア効率を向上させるため,PIM対応層設計手法を提案する。
論文参考訳（メタデータ） (2023-11-12T17:56:39Z)
Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文参考訳（メタデータ） (2023-09-12T13:03:47Z)
Lightweight and Progressively-Scalable Networks for Semantic Segmentation [100.63114424262234]
マルチスケール学習フレームワークは,セマンティックセグメンテーションを向上する有効なモデルのクラスと見なされてきた。本稿では,畳み込みブロックの設計と,複数スケールにわたる相互作用の仕方について,徹底的に解析する。我々は,軽量で拡張性の高いネットワーク(LPS-Net)を考案した。
論文参考訳（メタデータ） (2022-07-27T16:00:28Z)
Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文参考訳（メタデータ） (2021-08-28T20:39:54Z)
MAFAT: Memory-Aware Fusing and Tiling of Neural Networks for Accelerated Edge Inference [1.7894377200944507]
機械学習ネットワークは、利用可能なメモリを容易に越えることができ、OSの過度なスワップによってレイテンシが増加する。本稿では,メモリ使用量予測器と探索アルゴリズムを組み合わせることで,最適化されたファジングとタイリングの構成を提供する。その結果、我々のアプローチはメモリの半分以下で実行でき、メモリの厳しい制約下では最大2.78の高速化を実現している。
論文参考訳（メタデータ） (2021-07-14T19:45:49Z)
Layer Pruning via Fusible Residual Convolutional Block for Deep Neural Networks [15.64167076052513]
レイヤプルーニングは、同じFLOPとパラメータの数でプルーニングされる場合、推論時間と実行時のメモリ使用量が少なくなる。残差畳み込みブロック(ResConv)を用いた簡単な層切断法を提案する。本手法は, 異なるデータセット上での最先端技術に対する圧縮と加速の優れた性能を実現する。
論文参考訳（メタデータ） (2020-11-29T12:51:16Z)
MicroNet: Towards Image Recognition with Extremely Low FLOPs [117.96848315180407]
MicroNetは計算コストの極めて低い効率的な畳み込みニューラルネットワークである。 MicroNetのファミリは、低いFLOP体制における最先端技術よりも大きなパフォーマンス向上を実現している。例えば、MicroNet-M1は12のMFLOPを持つImageNet分類において61.1%のトップ-1の精度を達成し、MobileNetV3を11.3%上回っている。
論文参考訳（メタデータ） (2020-11-24T18:59:39Z)
A Variational Information Bottleneck Based Method to Compress Sequential Networks for Human Action Recognition [9.414818018857316]
本稿では,人間行動認識(HAR)に用いるリカレントニューラルネットワーク(RNN)を効果的に圧縮する手法を提案する。変分情報ボトルネック(VIB)理論に基づくプルーニング手法を用いて,RNNの逐次セルを流れる情報の流れを小さなサブセットに制限する。我々は、圧縮を大幅に改善する特定のグループ・ラッソ正規化手法とプルーニング手法を組み合わせる。提案手法は,UCF11上での動作認識の精度に比較して,最も近い競合に比べて70倍以上の圧縮を実現する。
論文参考訳（メタデータ） (2020-10-03T12:41:51Z)
ALF: Autoencoder-based Low-rank Filter-sharing for Efficient Convolutional Neural Networks [63.91384986073851]
オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。 ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
論文参考訳（メタデータ） (2020-07-27T09:01:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。