論文の概要: HEQuant: Marrying Homomorphic Encryption and Quantization for
Communication-Efficient Private Inference
- arxiv url: http://arxiv.org/abs/2401.15970v2
- Date: Wed, 31 Jan 2024 02:11:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 11:20:49.556377
- Title: HEQuant: Marrying Homomorphic Encryption and Quantization for
Communication-Efficient Private Inference
- Title(参考訳): HEQuant:通信効率の良いプライベート推論のための同型暗号化と量子化の結婚
- Authors: Tianshi Xu, Meng Li, Runsheng Wang
- Abstract要約: HEベースのプロトコルに対して,低精度量子化を意識した最適化を実現するHEQuantを提案する。
CrypTFlow2、Cheetah、Ironなど、従来のHEベースのプロトコルと比較して、HEQuantは3.5sim 23.4times$通信削減を実現している。
- 参考スコア(独自算出の注目度): 2.498379184732383
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Secure two-party computation with homomorphic encryption (HE) protects data
privacy with a formal security guarantee but suffers from high communication
overhead. While previous works, e.g., Cheetah, Iron, etc, have proposed
efficient HE-based protocols for different neural network (NN) operations, they
still assume high precision, e.g., fixed point 37 bit, for the NN operations
and ignore NNs' native robustness against quantization error. In this paper, we
propose HEQuant, which features low-precision-quantization-aware optimization
for the HE-based protocols. We observe the benefit of a naive combination of
quantization and HE quickly saturates as bit precision goes down. Hence, to
further improve communication efficiency, we propose a series of optimizations,
including an intra-coefficient packing algorithm and a quantization-aware
tiling algorithm, to simultaneously reduce the number and precision of the
transferred data. Compared with prior-art HE-based protocols, e.g., CrypTFlow2,
Cheetah, Iron, etc, HEQuant achieves $3.5\sim 23.4\times$ communication
reduction and $3.0\sim 9.3\times$ latency reduction. Meanwhile, when compared
with prior-art network optimization frameworks, e.g., SENet, SNL, etc, HEQuant
also achieves $3.1\sim 3.6\times$ communication reduction.
- Abstract(参考訳): 準同型暗号化(he)によるセキュアな2者計算は、正式なセキュリティ保証によってデータのプライバシを保護するが、通信オーバーヘッドが高い。
以前の研究、例えばcheetah、ironなどでは、異なるニューラルネットワーク(nn)操作のための効率的なheベースのプロトコルを提案しているが、nn操作では固定点37ビットを高い精度で仮定し、量子化エラーに対するnnのネイティブロバスト性を無視している。
本稿では,HEベースのプロトコルに対して,低精度量子化を意識した最適化を実現するHEQuantを提案する。
我々は、量子化のナイーブな組み合わせの利点を観察し、ビット精度が下がればすぐに飽和する。
そこで、通信効率をさらに高めるために、転送データの数と精度を同時に低減するために、効率のよいパッキングアルゴリズムと量子化認識ティリングアルゴリズムを含む一連の最適化を提案する。
CrypTFlow2、Cheetah、Ironなどといった先進的なHEベースのプロトコルと比較して、HEQuantは3.5\sim 23.4\times$通信の削減と3.0\sim 9.3\times$レイテンシの削減を実現している。
一方、senet、snlなどの先行技術であるネットワーク最適化フレームワークと比較すると、hequantは3.1\sim 3.6\times$通信削減を実現している。
関連論文リスト
- Quantum State Preparation Using an Exact CNOT Synthesis Formulation [8.078625517374967]
量子状態生成におけるCNOTゲートの使用を最小限にすることは、量子コンパイルにおける重要なステップである。
正確なCNOT合成定式化を用いた効率的な状態生成アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-01-02T03:37:00Z) - LinGCN: Structural Linearized Graph Convolutional Network for
Homomorphically Encrypted Inference [19.5669231249754]
本稿では,乗算深度を低減し,HEに基づくGCN推論の性能を最適化するLinGCNを提案する。
注目すべきは、LinGCNはCryptoGCNと比較して14.2倍のレイテンシ向上を実現し、推論精度は75%、乗算深度は顕著に減少することである。
論文 参考訳(メタデータ) (2023-09-25T17:56:54Z) - ANT: Exploiting Adaptive Numerical Data Type for Low-bit Deep Neural
Network Quantization [31.494669469303954]
ハードウェアオーバーヘッドの少ない低ビット量子化を実現するため,ANTと呼ばれる固定長適応型数値型を提案する。
我々の設計は、最先端の量子化加速器よりも2.8$times$スピードアップと2.5$times$エネルギー効率の改善をもたらす。
論文 参考訳(メタデータ) (2022-08-30T14:12:49Z) - SQuant: On-the-Fly Data-Free Quantization via Diagonal Hessian
Approximation [22.782678826199206]
ディープニューラルネットワーク(DNN)の量子化は、モデルの圧縮と加速に有効であることが証明されている。
データフリー量子化(DFQ)は、プライバシに敏感で機密性の高いシナリオの下で、オリジナルのデータセットなしでは有望なアプローチである。
本稿では,サブ秒単位の量子化時間を持つDFQフレームワークSQuantを提案する。
論文 参考訳(メタデータ) (2022-02-14T01:57:33Z) - OMPQ: Orthogonal Mixed Precision Quantization [64.59700856607017]
混合精度量子化は、ハードウェアの多重ビット幅演算を利用して、ネットワーク量子化の全ポテンシャルを解き放つ。
本稿では、整数プログラミングの損失と高い相関関係にあるネットワーク性の概念であるプロキシメトリックを最適化することを提案する。
このアプローチは、量子化精度にほとんど妥協することなく、検索時間と必要なデータ量を桁違いに削減する。
論文 参考訳(メタデータ) (2021-09-16T10:59:33Z) - HANT: Hardware-Aware Network Transformation [82.54824188745887]
ハードウェア・アウェア・ネットワーク・トランスフォーメーション(HANT)を提案する。
HANTは、ニューラルネットワーク検索のようなアプローチを使用して、非効率な操作をより効率的な代替手段に置き換える。
EfficientNetファミリの高速化に関する我々の結果は、ImageNetデータセットのトップ1の精度で最大3.6倍、0.4%の低下でHANTがそれらを加速できることを示している。
論文 参考訳(メタデータ) (2021-07-12T18:46:34Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳(メタデータ) (2021-06-18T03:11:15Z) - Adam in Private: Secure and Fast Training of Deep Neural Networks with
Adaptive Moment Estimation [6.342794803074475]
本稿では,最先端の機械学習アルゴリズムを効率的に評価するフレームワークを提案する。
これは、MLアルゴリズムを「MPCフレンドリ」な変種に置き換える以前のほとんどの作業とは対照的である。
我々は、最先端のサードパーティシステムより優れたセキュアなトレーニングを得る。
論文 参考訳(メタデータ) (2021-06-04T01:40:09Z) - HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。
HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
論文 参考訳(メタデータ) (2020-11-20T23:51:43Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳(メタデータ) (2020-07-14T09:07:29Z) - APQ: Joint Search for Network Architecture, Pruning and Quantization
Policy [49.3037538647714]
本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。
ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。
同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
論文 参考訳(メタデータ) (2020-06-15T16:09:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。