論文の概要: AutoFHE: Automated Adaption of CNNs for Efficient Evaluation over FHE
- arxiv url: http://arxiv.org/abs/2310.08012v1
- Date: Thu, 12 Oct 2023 03:28:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-15 11:20:23.121742
- Title: AutoFHE: Automated Adaption of CNNs for Efficient Evaluation over FHE
- Title（参考訳）: AutoFHE:FHEによる効率的な評価のためのCNNの自動適応
- Authors: Wei Ao, Vishnu Naresh Boddeti
- Abstract要約: 本稿では,RSS-CKKSの下でセキュアな推論を行うAutoFHEを提案する。
我々は、AutoFHEが高次手法と比較して、セキュアな推論を1.32times$から1.8times$に加速することを示す。
また、低度の手法に比べて2.56%の精度向上を実現している。
- 参考スコア（独自算出の注目度）: 17.869772108541998
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Secure inference of deep convolutional neural networks (CNNs) under RNS-CKKS
involves polynomial approximation of unsupported non-linear activation
functions. However, existing approaches have three main limitations: 1)
Inflexibility: The polynomial approximation and associated homomorphic
evaluation architecture are customized manually for each CNN architecture and
do not generalize to other networks. 2) Suboptimal Approximation: Each
activation function is approximated instead of the function represented by the
CNN. 3) Restricted Design: Either high-degree or low-degree polynomial
approximations are used. The former retains high accuracy but slows down
inference due to bootstrapping operations, while the latter accelerates
ciphertext inference but compromises accuracy. To address these limitations, we
present AutoFHE, which automatically adapts standard CNNs for secure inference
under RNS-CKKS. The key idea is to adopt layerwise mixed-degree polynomial
activation functions, which are optimized jointly with the homomorphic
evaluation architecture in terms of the placement of bootstrapping operations.
The problem is modeled within a multi-objective optimization framework to
maximize accuracy and minimize the number of bootstrapping operations. AutoFHE
can be applied flexibly on any CNN architecture, and it provides diverse
solutions that span the trade-off between accuracy and latency. Experimental
evaluation over RNS-CKKS encrypted CIFAR datasets shows that AutoFHE
accelerates secure inference by $1.32\times$ to $1.8\times$ compared to methods
employing high-degree polynomials. It also improves accuracy by up to 2.56%
compared to methods using low-degree polynomials. Lastly, AutoFHE accelerates
inference and improves accuracy by $103\times$ and 3.46%, respectively,
compared to CNNs under TFHE.
- Abstract（参考訳）: rns-ckk下での深い畳み込みニューラルネットワーク(cnns)の安全な推論には、非線型活性化関数の多項式近似が含まれる。
しかし、既存のアプローチには3つの制限がある。
1) 多項式近似と同型評価アーキテクチャは,各CNNアーキテクチャに対して手動でカスタマイズされ,他のネットワークに一般化されない。
2) 準最適近似: 各活性化関数はcnnで表される関数の代わりに近似される。
3)制限設計:高次多項式近似または低次多項式近似を用いる。
前者は高い精度を維持しながらブートストラップ操作により推論を遅くし、後者は暗号文推論を加速するが精度を損なう。
これらの制約に対処するため、ANS-CKKSの下で安全な推論のために標準CNNを自動的に適応するAutoFHEを提案する。
重要なアイデアは、ブートストラップ操作の配置の観点から準同型評価アーキテクチャと共同で最適化された階層型混合次多項式活性化関数を採用することである。
この問題は、精度を最大化し、ブートストラップ操作の数を最小化するために、多目的最適化フレームワーク内でモデル化される。
AutoFHEは任意のCNNアーキテクチャに柔軟に適用でき、精度とレイテンシのトレードオフにまたがる多様なソリューションを提供する。
RNS-CKKS暗号化CIFARデータセットに対する実験的評価は、AutoFHEが高次多項式を用いた手法と比較して、セキュアな推論を1.32\times$から1.8\times$に加速することを示している。
また、低次多項式を用いる方法に比べて最大2.56%精度が向上する。
最後に、AutoFHEは推論を加速し、TFHEのCNNと比較して、それぞれ103\times$と3.46%の精度を向上する。
関連論文リスト
- Multilevel CNNs for Parametric PDEs based on Adaptive Finite Elements [0.0]
高次元パラメータ依存偏微分方程式の多値性を利用するニューラルネットワークアーキテクチャが提案されている。
ネットワークは適応的に洗練された有限要素メッシュのデータで訓練される。
適応型マルチレベルスキームに対して完全収束と複雑性解析を行う。
論文 参考訳（メタデータ） (2024-08-20T13:32:11Z) - Optimized Layerwise Approximation for Efficient Private Inference on Fully Homomorphic Encryption [17.010625600442584]
本研究では、プライバシー保護型ディープニューラルネットワークのための最適化レイヤワイド近似(OLA)フレームワークを提案する。
効率的な近似のために、各アクティベーション関数の実際の入力分布を考慮し、階層的精度を反映する。
その結果、OLA法はResNet-20モデルとResNet-32モデルの推論時間をそれぞれ3.02倍と2.82倍に削減した。
論文 参考訳（メタデータ） (2023-10-16T12:34:47Z) - Efficient Privacy-Preserving Convolutional Spiking Neural Networks with
FHE [1.437446768735628]
ホモモルフィック暗号化(FHE)は、プライバシ保護計算の鍵となる技術である。
FHEは連続非ポリノミカル関数の処理に制限がある。
準同型SNNのためのFHE-DiCSNNというフレームワークを提案する。
FHE-DiCSNNの精度は97.94%で、元のネットワークの精度98.47%に比べて0.53%しか失われていない。
論文 参考訳（メタデータ） (2023-09-16T15:37:18Z) - Large-scale Optimization of Partial AUC in a Range of False Positive
Rates [51.12047280149546]
ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。
近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。
提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
論文 参考訳（メタデータ） (2022-03-03T03:46:18Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - 3D CNNs with Adaptive Temporal Feature Resolutions [83.43776851586351]
similarity Guided Sampling (SGS)モジュールは既存のCNNアーキテクチャにプラグインできる。
SGSは、時間的特徴の類似性を学び、類似した特徴をまとめることで、3D CNNに権限を与える。
評価の結果,提案モジュールは精度を保ちながら計算コスト(GFLOP)を半分に減らし,最先端化を実現していることがわかった。
論文 参考訳（メタデータ） (2020-11-17T14:34:05Z) - Fully Dynamic Inference with Deep Neural Networks [19.833242253397206]
Layer-Net(L-Net)とChannel-Net(C-Net)と呼ばれる2つのコンパクトネットワークは、どのレイヤやフィルタ/チャネルが冗長であるかをインスタンス毎に予測する。
CIFAR-10データセットでは、LC-Netは11.9$times$ less floating-point Operations (FLOPs) となり、他の動的推論手法と比較して最大3.3%精度が向上する。
ImageNetデータセットでは、LC-Netは最大1.4$times$ FLOPsを減らし、Top-1の精度は他の方法よりも4.6%高い。
論文 参考訳（メタデータ） (2020-07-29T23:17:48Z) - Implicit Convex Regularizers of CNN Architectures: Convex Optimization
of Two- and Three-Layer Networks in Polynomial Time [70.15611146583068]
本稿では,ReLUアクティベーションを用いた畳み込みニューラルネットワーク(CNN)のトレーニングについて検討する。
我々は,データサンプル数,ニューロン数,データ次元に関して,厳密な凸最適化を導入する。
論文 参考訳（メタデータ） (2020-06-26T04:47:20Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - FT-CNN: Algorithm-Based Fault Tolerance for Convolutional Neural
Networks [13.100954947774163]
畳み込みニューラルネットワーク(CNN)は、多くの分野において困難で重要な問題を解決するためにますます重要になっている。
CNN推論アプリケーションは、高エネルギー粒子や高温、異常電圧によるソフトエラーに悩まされる安全クリティカルなシステムにデプロイされている。
従来のフォールトトレランス法は、エラー訂正符号が計算コンポーネントを保護することができないため、CNNの推論には適さない。
論文 参考訳（メタデータ） (2020-03-27T02:01:54Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳（メタデータ） (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。