論文の概要: Optimizing Layerwise Polynomial Approximation for Efficient Private
Inference on Fully Homomorphic Encryption: A Dynamic Programming Approach
- arxiv url: http://arxiv.org/abs/2310.10349v1
- Date: Mon, 16 Oct 2023 12:34:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 14:38:28.308068
- Title: Optimizing Layerwise Polynomial Approximation for Efficient Private
Inference on Fully Homomorphic Encryption: A Dynamic Programming Approach
- Title(参考訳): 完全準同型暗号における効率的なプライベート推論のための階層多項式近似の最適化:動的計画法アプローチ
- Authors: Junghyun Lee, Eunsang Lee, Young-Sik Kim, Yongwoo Lee, Joon-Woo Lee,
Yongjune Kim, Jong-Seon No
- Abstract要約: 高次近似は、かなりの量の同型資源を消費する。
活性化関数の入力分布を重み付けした最小二乗近似法を用いる。
ResNet-20モデルとResNet-32モデルの推論時間をそれぞれ3.44倍と3.16倍に削減できる。
- 参考スコア(独自算出の注目度): 17.863635679807977
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent research has explored the implementation of privacy-preserving deep
neural networks solely using fully homomorphic encryption. However, its
practicality has been limited because of prolonged inference times. When using
a pre-trained model without retraining, a major factor contributing to these
prolonged inference times is the high-degree polynomial approximation of
activation functions such as the ReLU function. The high-degree approximation
consumes a substantial amount of homomorphic computational resources, resulting
in slower inference. Unlike the previous works approximating activation
functions uniformly and conservatively, this paper presents a \emph{layerwise}
degree optimization of activation functions to aggressively reduce the
inference time while maintaining classification accuracy by taking into account
the characteristics of each layer. Instead of the minimax approximation
commonly used in state-of-the-art private inference models, we employ the
weighted least squares approximation method with the input distributions of
activation functions. Then, we obtain the layerwise optimized degrees for
activation functions through the \emph{dynamic programming} algorithm,
considering how each layer's approximation error affects the classification
accuracy of the deep neural network. Furthermore, we propose modulating the
ciphertext moduli-chain layerwise to reduce the inference time. By these
proposed layerwise optimization methods, we can reduce inference times for the
ResNet-20 model and the ResNet-32 model by 3.44 times and 3.16 times,
respectively, in comparison to the prior implementations employing uniform
degree polynomials and a consistent ciphertext modulus.
- Abstract(参考訳): 近年,完全同型暗号のみを用いたプライバシー保護型ディープニューラルネットワークの実装について検討している。
しかし、推論時間が長かったため実用性は限られている。
トレーニングなしの事前学習モデルを使用する場合、これらの長期推論時間に寄与する主要な要因は、ReLU関数のような活性化関数の高次多項式近似である。
高次近似はかなりの量の準同型計算資源を消費し、推論が遅くなる。
本稿では,活性化関数を一様・一様・一様に近似する従来の手法と異なり,各層の特徴を考慮し,分類精度を維持しつつ,推定時間を積極的に削減する,活性化関数の次数最適化を提案する。
最先端のプライベート推論モデルでよく用いられるミニマックス近似の代わりに、活性化関数の入力分布を持つ重み付き最小二乗近似法を用いる。
次に、各層の近似誤差がディープニューラルネットワークの分類精度にどのように影響するかを考慮して、emph{dynamic programming}アルゴリズムによる活性化関数の層別最適化度を求める。
さらに,推定時間を短縮するために,暗号文のモジュラーチェーンを階層的に変調する手法を提案する。
これらの階層最適化手法により、一様次多項式と一貫した暗号文係数を用いた先行実装と比較して、ResNet-20モデルとResNet-32モデルの推論時間をそれぞれ3.44倍と3.16倍に削減できる。
関連論文リスト
- The limitation of neural nets for approximation and optimization [0.0]
最適化問題における目的関数の近似と最小化のために,ニューラルネットワークを代理モデルとして用いることに関心がある。
本研究は、一般的な非線形最適化テスト問題の目的関数を近似する最適なアクティベーション関数を決定することから始まる。
論文 参考訳(メタデータ) (2023-11-21T00:21:15Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Langevin dynamics based algorithm e-TH$\varepsilon$O POULA for
stochastic optimization problems with discontinuous stochastic gradient [7.170021086161168]
我々は,不連続勾配による最適化問題を解くために,e-TH$varepsilon$O POULAと呼ばれる新しいランゲヴィン力学に基づくアルゴリズムを導入する。
金融と保険の3つの重要な応用として、多周期ポートフォリオ最適化、多周期ポートフォリオ最適化におけるトランスファーラーニング、保険請求予測がある。
論文 参考訳(メタデータ) (2022-10-24T13:10:06Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T06:39:13Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳(メタデータ) (2021-06-06T18:05:02Z) - Polygonal Unadjusted Langevin Algorithms: Creating stable and efficient
adaptive algorithms for neural networks [0.0]
本稿では,Langevinベースのアルゴリズムを新たに導入し,一般的な適応的消滅アルゴリズムの欠点の多くを克服する。
特に、この新しいクラスのアルゴリズムの収束性についての漸近解析と完全な理論的保証を提供し、TH$varepsilon$O POULA(あるいは単にTheoPouLa)と名付けた。
論文 参考訳(メタデータ) (2021-05-28T15:58:48Z) - Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。
いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
論文 参考訳(メタデータ) (2021-03-01T08:25:26Z) - Neural Spectrahedra and Semidefinite Lifts: Global Convex Optimization
of Polynomial Activation Neural Networks in Fully Polynomial-Time [31.94590517036704]
2次活性化を持つ2層数値ネットワークの完全凸最適化定式化を考案する。
本研究では,全入力データの複雑度とサンプルサイズが半定常的なニューラル・グローバル最適化であることを示した。
提案手法は, 標準バックプロパゲーション法に比べ, テスト精度が大幅に向上した。
論文 参考訳(メタデータ) (2021-01-07T08:43:01Z) - Self Normalizing Flows [65.73510214694987]
本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。
これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。
実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
論文 参考訳(メタデータ) (2020-11-14T09:51:51Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。