論文の概要: HyPHEN: A Hybrid Packing Method and Optimizations for Homomorphic
Encryption-Based Neural Networks
- arxiv url: http://arxiv.org/abs/2302.02407v1
- Date: Sun, 5 Feb 2023 15:36:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-07 18:26:39.999965
- Title: HyPHEN: A Hybrid Packing Method and Optimizations for Homomorphic
Encryption-Based Neural Networks
- Title(参考訳): HyPHEN: 同相暗号ベースニューラルネットワークのハイブリッドパッキング法と最適化
- Authors: Donghwan Kim, Jaiyoung Park, Jongmin Kim, Sangpyo Kim, Jung Ho Ahn
- Abstract要約: 完全同相暗号(FHE)を用いた畳み込みニューラルネットワーク(CNN)推論は、有望なプライベート推論(PI)ソリューションである。
しかし、従来のFHEベースのCNN(HCNN)の実装は、FHEの計算およびメモリオーバーヘッドが高いため、実用的ではない。
提案するHyPHENは、効率的なFHE畳み込みアルゴリズム、データパッキング法(ハイブリッドパッキングと画像スライシング)、FHE固有の最適化を特徴とする深層HCNN構造である。
- 参考スコア(独自算出の注目度): 5.523045471595866
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolutional neural network (CNN) inference using fully homomorphic
encryption (FHE) is a promising private inference (PI) solution due to the
capability of FHE that enables offloading the whole computation process to the
server while protecting the privacy of sensitive user data. However, prior
FHEbased CNN (HCNN) implementations are far from being practical due to the
high computational and memory overheads of FHE. To overcome this limitation, we
present HyPHEN, a deep HCNN construction that features an efficient FHE
convolution algorithm, data packing methods (hybrid packing and image slicing),
and FHE-specific optimizations. Such enhancements enable HyPHEN to
substantially reduce the memory footprint and the number of expensive
homomorphic operations, such as ciphertext rotation and bootstrapping. As a
result, HyPHEN brings the latency of HCNN CIFAR-10 inference down to a
practical level at 1.40s (ResNet20) and demonstrates HCNN ImageNet inference
for the first time at 16.87s (ResNet18).
- Abstract(参考訳): 完全同型暗号化(FHE)を用いた畳み込みニューラルネットワーク(CNN)推論は、センシティブなユーザデータのプライバシーを保護しながら、計算プロセス全体をサーバにオフロード可能にするFHEの機能により、有望なプライベート推論(PI)ソリューションである。
しかし、従来のFHEベースのCNN(HCNN)の実装は、FHEの計算およびメモリオーバーヘッドが高いため、実用的ではない。
この制限を克服するために、効率的なFHE畳み込みアルゴリズム、データパッキング方法(ハイブリッドパッキングと画像スライシング)、FHE固有の最適化を特徴とする深層HCNN構造であるHyPHENを提案する。
このような拡張により、HyPHENはメモリフットプリントを大幅に削減し、暗号文のローテーションやブートストラップのような高価な同型演算の数を削減できる。
その結果、HyPHENはHCNN CIFAR-10推論のレイテンシを1.40s(ResNet20)に低下させ、HCNN ImageNet推論を16.87s(ResNet18)で初めて示す。
関連論文リスト
- Fixing the NTK: From Neural Network Linearizations to Exact Convex
Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。
この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文 参考訳(メタデータ) (2023-09-26T17:42:52Z) - LinGCN: Structural Linearized Graph Convolutional Network for
Homomorphically Encrypted Inference [19.5669231249754]
本稿では,乗算深度を低減し,HEに基づくGCN推論の性能を最適化するLinGCNを提案する。
注目すべきは、LinGCNはCryptoGCNと比較して14.2倍のレイテンシ向上を実現し、推論精度は75%、乗算深度は顕著に減少することである。
論文 参考訳(メタデータ) (2023-09-25T17:56:54Z) - Efficient Privacy-Preserving Convolutional Spiking Neural Networks with
FHE [1.437446768735628]
ホモモルフィック暗号化(FHE)は、プライバシ保護計算の鍵となる技術である。
FHEは連続非ポリノミカル関数の処理に制限がある。
準同型SNNのためのFHE-DiCSNNというフレームワークを提案する。
FHE-DiCSNNの精度は97.94%で、元のネットワークの精度98.47%に比べて0.53%しか失われていない。
論文 参考訳(メタデータ) (2023-09-16T15:37:18Z) - A Homomorphic Encryption Framework for Privacy-Preserving Spiking Neural
Networks [5.274804664403783]
スパイキングニューラルネットワーク(SNN)は人間の脳の振る舞いを模倣し、効率を改善しエネルギー消費を減らす。
ホモモルフィック暗号化(HE)は、暗号データを復号することなく計算を実行できるソリューションを提供する。
この研究では、Brakerski/Fan-Vercauteren(BFV)暗号化スキームを用いて、従来のディープニューラルネットワーク(DNN)とSNNを比較した。
論文 参考訳(メタデータ) (2023-08-10T15:26:35Z) - High-Resolution Convolutional Neural Networks on Homomorphically
Encrypted Data via Sharding Ciphertexts [0.08999666725996974]
我々は,1つの暗号文に格納できる範囲を超えて,大きな次元と多数のチャネルを持つ画像上でDCNNを評価する手法を拡張した。
トレーニングプロセス中に既存のDCNNモデルがどのように正規化され、効率と精度をさらに向上するかを示す。
これらの手法を用いて、高解像度のImageNetデータセット上で高い精度でDCNNを均質に評価し、80.2%の精度でトップ1の精度を達成する。
論文 参考訳(メタデータ) (2023-06-15T15:16:16Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - Sub-bit Neural Networks: Learning to Compress and Accelerate Binary
Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。
SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。
ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文 参考訳(メタデータ) (2021-10-18T11:30:29Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳(メタデータ) (2021-06-18T03:11:15Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - T2FSNN: Deep Spiking Neural Networks with Time-to-first-spike Coding [26.654533157221973]
本稿では,カーネルベースの動的しきい値とデンドライトを用いて,深層SNNにタイム・ツー・ファースト・スパイク・コーディングを組み込むことによって,その欠点を克服する手法を提案する。
提案手法は,バースト符号化法と比較して,推定遅延とスパイク回数を22%,1%以下に削減できる。
論文 参考訳(メタデータ) (2020-03-26T04:39:12Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳(メタデータ) (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。