Fugu-MT 論文翻訳(概要): HEQuant: Marrying Homomorphic Encryption and Quantization for Communication-Efficient Private Inference

論文の概要: HEQuant: Marrying Homomorphic Encryption and Quantization for Communication-Efficient Private Inference

arxiv url: http://arxiv.org/abs/2401.15970v1
Date: Mon, 29 Jan 2024 08:59:05 GMT
ステータス: 処理完了
システム内更新日: 2024-01-30 15:26:57.439381
Title: HEQuant: Marrying Homomorphic Encryption and Quantization for Communication-Efficient Private Inference
Title（参考訳）: HEQuant:通信効率の良いプライベート推論のための同型暗号化と量子化の結婚
Authors: Tianshi Xu, Meng Li, Runsheng Wang
Abstract要約: HEベースのプロトコルに対して,低精度量子化を意識した最適化を実現するHEQuantを提案する。 CrypTFlow2、Cheetah、Ironなど、従来のHEベースのプロトコルと比較して、HEQuantは3.5sim 23.4times$通信削減を実現している。
参考スコア（独自算出の注目度）: 2.498379184732383
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Secure two-party computation with homomorphic encryption (HE) protects data privacy with a formal security guarantee but suffers from high communication overhead. While previous works, e.g., Cheetah, Iron, etc, have proposed efficient HE-based protocols for different neural network (NN) operations, they still assume high precision, e.g., fixed point 37 bit, for the NN operations and ignore NNs' native robustness against quantization error. In this paper, we propose HEQuant, which features low-precision-quantization-aware optimization for the HE-based protocols. We observe the benefit of a naive combination of quantization and HE quickly saturates as bit precision goes down. Hence, to further improve communication efficiency, we propose a series of optimizations, including an intra-coefficient packing algorithm and a quantization-aware tiling algorithm, to simultaneously reduce the number and precision of the transferred data. Compared with prior-art HE-based protocols, e.g., CrypTFlow2, Cheetah, Iron, etc, HEQuant achieves $3.5\sim 23.4\times$ communication reduction and $3.0\sim 9.3\times$ latency reduction. Meanwhile, when compared with prior-art network optimization frameworks, e.g., SENet, SNL, etc, HEQuant also achieves $3.1\sim 3.6\times$ communication reduction.
Abstract（参考訳）: 準同型暗号化(he)によるセキュアな2者計算は、正式なセキュリティ保証によってデータのプライバシを保護するが、通信オーバーヘッドが高い。以前の研究、例えばcheetah、ironなどでは、異なるニューラルネットワーク(nn)操作のための効率的なheベースのプロトコルを提案しているが、nn操作では固定点37ビットを高い精度で仮定し、量子化エラーに対するnnのネイティブロバスト性を無視している。本稿では,HEベースのプロトコルに対して,低精度量子化を意識した最適化を実現するHEQuantを提案する。我々は、量子化のナイーブな組み合わせの利点を観察し、ビット精度が下がればすぐに飽和する。そこで、通信効率をさらに高めるために、転送データの数と精度を同時に低減するために、効率のよいパッキングアルゴリズムと量子化認識ティリングアルゴリズムを含む一連の最適化を提案する。 CrypTFlow2、Cheetah、Ironなどといった先進的なHEベースのプロトコルと比較して、HEQuantは3.5\sim 23.4\times$通信の削減と3.0\sim 9.3\times$レイテンシの削減を実現している。一方、senet、snlなどの先行技術であるネットワーク最適化フレームワークと比較すると、hequantは3.1\sim 3.6\times$通信削減を実現している。

関連論文リスト

PrivQuant: Communication-Efficient Private Inference with Quantized Network/Protocol Co-Optimization [2.9203160719029073]
既存のセキュアな2PCフレームワークは、巨大な通信のために高い推論遅延に悩まされる。 2PCベースの量子化推論プロトコルとネットワーク量子化アルゴリズムを協調的に最適化するフレームワークであるPrivQuantを提案する。 PrivQuantは通信を11時間短縮し、2.5times Mathrmと2.8times$が8.7タイム、1.8times Mathrmと2.4times$遅延をSiRNN、COINN、CoPrivと比較した。
論文参考訳（メタデータ） (2024-10-12T13:28:42Z)
Joint Pruning and Channel-wise Mixed-Precision Quantization for Efficient Deep Neural Networks [10.229120811024162]
ディープニューラルネットワーク(DNN)は、エッジデバイスへのデプロイメントに重大な課題をもたらす。この問題に対処する一般的なアプローチは、プルーニングと混合精度量子化である。そこで本研究では,軽量な勾配探索を用いて共同で適用するための新しい手法を提案する。
論文参考訳（メタデータ） (2024-07-01T08:07:02Z)
EQO: Exploring Ultra-Efficient Private Inference with Winograd-Based Protocol and Quantization Co-Optimization [3.1330492824737055]
セキュアな双方向計算(2PC)に基づくプライベート畳み込みニューラルネットワーク(CNN)の推論は、高い通信と遅延オーバーヘッドに悩まされる。本稿では,CNNと2PCプロトコルを協調的に最適化する量子化2PC推論フレームワークであるEQOを提案する。広範な実験により、EQOは1.7x、3.6x、6.3xの通信削減を1.29%、1.16%、1.29%の精度で実証した。
論文参考訳（メタデータ） (2024-04-15T01:41:18Z)
CoPriv: Network/Protocol Co-Optimization for Communication-Efficient Private Inference [13.039573608167077]
セキュアな2つのパーティ(2PC)に基づくディープニューラルネットワーク(DNN)推論は、暗号的にセキュアなプライバシ保護を提供する。これまでの作業は、通信オーバーヘッドを近似するために、ReLUカウントのプロキシメトリックに大きく依存していました。 2PC推論プロトコルとDNNアーキテクチャを協調的に最適化するフレームワークであるCoPrivを提案する。
論文参考訳（メタデータ） (2023-11-03T06:19:48Z)
SQuant: On-the-Fly Data-Free Quantization via Diagonal Hessian Approximation [22.782678826199206]
ディープニューラルネットワーク(DNN)の量子化は、モデルの圧縮と加速に有効であることが証明されている。データフリー量子化(DFQ)は、プライバシに敏感で機密性の高いシナリオの下で、オリジナルのデータセットなしでは有望なアプローチである。本稿では,サブ秒単位の量子化時間を持つDFQフレームワークSQuantを提案する。
論文参考訳（メタデータ） (2022-02-14T01:57:33Z)
OMPQ: Orthogonal Mixed Precision Quantization [64.59700856607017]
混合精度量子化は、ハードウェアの多重ビット幅演算を利用して、ネットワーク量子化の全ポテンシャルを解き放つ。本稿では、整数プログラミングの損失と高い相関関係にあるネットワーク性の概念であるプロキシメトリックを最適化することを提案する。このアプローチは、量子化精度にほとんど妥協することなく、検索時間と必要なデータ量を桁違いに削減する。
論文参考訳（メタデータ） (2021-09-16T10:59:33Z)
HANT: Hardware-Aware Network Transformation [82.54824188745887]
ハードウェア・アウェア・ネットワーク・トランスフォーメーション(HANT)を提案する。 HANTは、ニューラルネットワーク検索のようなアプローチを使用して、非効率な操作をより効率的な代替手段に置き換える。 EfficientNetファミリの高速化に関する我々の結果は、ImageNetデータセットのトップ1の精度で最大3.6倍、0.4%の低下でHANTがそれらを加速できることを示している。
論文参考訳（メタデータ） (2021-07-12T18:46:34Z)
Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文参考訳（メタデータ） (2021-06-18T03:11:15Z)
HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。 HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
論文参考訳（メタデータ） (2020-11-20T23:51:43Z)
AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文参考訳（メタデータ） (2020-07-14T09:07:29Z)
APQ: Joint Search for Network Architecture, Pruning and Quantization Policy [49.3037538647714]
本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
論文参考訳（メタデータ） (2020-06-15T16:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。