論文の概要: CoPriv: Network/Protocol Co-Optimization for Communication-Efficient Private Inference
- arxiv url: http://arxiv.org/abs/2311.01737v1
- Date: Fri, 3 Nov 2023 06:19:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 13:45:54.903467
- Title: CoPriv: Network/Protocol Co-Optimization for Communication-Efficient Private Inference
- Title(参考訳): CoPriv:通信効率の良いプライベート推論のためのネットワーク/プロトコル協調最適化
- Authors: Wenxuan Zeng, Meng Li, Haichuan Yang, Wen-jie Lu, Runsheng Wang, Ru Huang,
- Abstract要約: セキュアな2つのパーティ(2PC)に基づくディープニューラルネットワーク(DNN)推論は、暗号的にセキュアなプライバシ保護を提供する。
これまでの作業は、通信オーバーヘッドを近似するために、ReLUカウントのプロキシメトリックに大きく依存していました。
2PC推論プロトコルとDNNアーキテクチャを協調的に最適化するフレームワークであるCoPrivを提案する。
- 参考スコア(独自算出の注目度): 13.039573608167077
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural network (DNN) inference based on secure 2-party computation (2PC) can offer cryptographically-secure privacy protection but suffers from orders of magnitude latency overhead due to enormous communication. Previous works heavily rely on a proxy metric of ReLU counts to approximate the communication overhead and focus on reducing the ReLUs to improve the communication efficiency. However, we observe these works achieve limited communication reduction for state-of-the-art (SOTA) 2PC protocols due to the ignorance of other linear and non-linear operations, which now contribute to the majority of communication. In this work, we present CoPriv, a framework that jointly optimizes the 2PC inference protocol and the DNN architecture. CoPriv features a new 2PC protocol for convolution based on Winograd transformation and develops DNN-aware optimization to significantly reduce the inference communication. CoPriv further develops a 2PC-aware network optimization algorithm that is compatible with the proposed protocol and simultaneously reduces the communication for all the linear and non-linear operations. We compare CoPriv with the SOTA 2PC protocol, CrypTFlow2, and demonstrate 2.1x communication reduction for both ResNet-18 and ResNet-32 on CIFAR-100. We also compare CoPriv with SOTA network optimization methods, including SNL, MetaPruning, etc. CoPriv achieves 9.98x and 3.88x online and total communication reduction with a higher accuracy compare to SNL, respectively. CoPriv also achieves 3.87x online communication reduction with more than 3% higher accuracy compared to MetaPruning.
- Abstract(参考訳): セキュアな2次元計算(2PC)に基づくディープニューラルネットワーク(DNN)推論は、暗号的にセキュアなプライバシ保護を提供するが、巨大な通信による遅延オーバヘッドの桁違いに悩まされる。
これまでの作業は、通信オーバーヘッドを近似し、通信効率を改善するためにReLUを減らすことに集中するために、ReLUカウントのプロキシメトリックに大きく依存していました。
しかし, 現在では通信の大部分に寄与する線形および非線形操作の無知により, 最先端(SOTA)2PCプロトコルの通信削減が制限されている。
本研究では,2PC推論プロトコルとDNNアーキテクチャを協調的に最適化するフレームワークであるCoPrivを提案する。
CoPrivはWinograd変換に基づく畳み込みのための新しい2PCプロトコルを備え、推論通信を大幅に削減するためにDNN対応の最適化を開発している。
CoPrivはさらに、提案プロトコルと互換性のある2PC対応ネットワーク最適化アルゴリズムを開発し、線形および非線形の全ての操作に対する通信を同時に削減する。
我々はCoPrivをSOTA 2PCプロトコルであるCrypTFlow2と比較し、CIFAR-100上でResNet-18とResNet-32の2.1倍の通信削減を示す。
また、CoPrivをSNL、MetaPruningなどを含むSOTAネットワーク最適化手法と比較する。
CoPrivは、SNLよりも高い精度で、9.98倍と3.88倍の通信削減を実現している。
CoPrivはまた、MetaPruningに比べて3%以上の精度で3.87倍のオンラインコミュニケーション削減を実現している。
関連論文リスト
- EQO: Exploring Ultra-Efficient Private Inference with Winograd-Based Protocol and Quantization Co-Optimization [3.1330492824737055]
セキュアな双方向計算(2PC)に基づくプライベート畳み込みニューラルネットワーク(CNN)の推論は、高い通信と遅延オーバーヘッドに悩まされる。
本稿では,CNNと2PCプロトコルを協調的に最適化する量子化2PC推論フレームワークであるEQOを提案する。
広範な実験により、EQOは1.7x、3.6x、6.3xの通信削減を1.29%、1.16%、1.29%の精度で実証した。
論文 参考訳(メタデータ) (2024-04-15T01:41:18Z) - Communication-Efficient Distributed Learning with Local Immediate Error
Compensation [95.6828475028581]
本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。
LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
論文 参考訳(メタデータ) (2024-02-19T05:59:09Z) - Improving the Worst-Case Bidirectional Communication Complexity for
Nonconvex Distributed Optimization under Function Similarity [52.138754950594375]
ダウンリンク圧縮のための新しい手法であるMARINA-Pを導入する。
置換圧縮機を用いたMARINA-Pは、作業者数に応じてサーバ間通信の複雑さを向上できることを示す。
本稿では,MARINA-Pとアップリンク圧縮とモーメントステップを組み合わせた手法であるM3を導入する。
論文 参考訳(メタデータ) (2024-02-09T13:58:33Z) - HEQuant: Marrying Homomorphic Encryption and Quantization for
Communication-Efficient Private Inference [2.498379184732383]
HEベースのプロトコルに対して,低精度量子化を意識した最適化を実現するHEQuantを提案する。
CrypTFlow2、Cheetah、Ironなど、従来のHEベースのプロトコルと比較して、HEQuantは3.5sim 23.4times$通信削減を実現している。
論文 参考訳(メタデータ) (2024-01-29T08:59:05Z) - Fast Internet Computer Consensus [20.52947785138998]
本稿では,単一のラウンドトリップ時間でトランザクションを確認可能な,最初の回転型リーダ状態マシンレプリケーション(SMR)プロトコルを提案する。
本稿では,高速経路におけるブロック終端遅延の最適化を可能にする新しいデュアルモード機構を提案する。
我々は,Fast Internet Computer Consensus(FICC)プロトコルの正当性を証明し,そのオープンソース実装を提供する。
論文 参考訳(メタデータ) (2023-12-10T12:32:58Z) - High-Throughput Secure Multiparty Computation with an Honest Majority in Various Network Settings [0.0]
安全な3次元計算(3-PC)と悪意のある4次元計算(4-PC)のためのリング上の新しいプロトコルを提案する。
同じ環境での最先端のプロトコルと比較して、我々のプロトコルは高いスループットを達成するために、当事者間の低レイテンシと高帯域のリンクを少なくする必要がある。
当社のプロトコルは、ゲート毎の基本命令を最大50%削減することで、計算の複雑さを低減します。
論文 参考訳(メタデータ) (2022-06-08T09:46:37Z) - BiFSMN: Binary Neural Network for Keyword Spotting [47.46397208920726]
BiFSMNは、KWSのための正確かつ極効率のバイナリニューラルネットワークである。
実世界のエッジハードウェアにおいて,BiFSMNは22.3倍の高速化と15.5倍のストレージ節約を実現可能であることを示す。
論文 参考訳(メタデータ) (2022-02-14T05:16:53Z) - 1-bit LAMB: Communication Efficient Large-Scale Large-Batch Training
with LAMB's Convergence Speed [17.953619054149378]
通信を圧縮した場合でも適応層学習率をサポートする新しい通信効率の高い1ビットラムを提案する。
バッチサイズが8Kから64KのBERT-Large事前学習タスクでは,NCCLベースのバックエンドを持つ1ビットLAMBが最大4.6倍の通信量削減を実現可能であることを示す。
論文 参考訳(メタデータ) (2021-04-13T10:07:49Z) - Deep Learning-based Resource Allocation For Device-to-Device
Communication [66.74874646973593]
デバイス間通信(D2D)を用いたマルチチャネルセルシステムにおいて,リソース割り当ての最適化のためのフレームワークを提案する。
任意のチャネル条件に対する最適な資源配分戦略をディープニューラルネットワーク(DNN)モデルにより近似する深層学習(DL)フレームワークを提案する。
シミュレーションの結果,提案手法のリアルタイム性能を低速で実現できることが確認された。
論文 参考訳(メタデータ) (2020-11-25T14:19:23Z) - ReActNet: Towards Precise Binary Neural Network with Generalized
Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。
まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。
提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文 参考訳(メタデータ) (2020-03-07T02:12:02Z) - Wireless Power Control via Counterfactual Optimization of Graph Neural
Networks [124.89036526192268]
本稿では,無線ネットワークにおけるダウンリンク電力制御の問題点について考察する。
コンカレントトランスミッション間の干渉を軽減するために,ネットワークトポロジを活用してグラフニューラルネットワークアーキテクチャを構築する。
次に、教師なし原始対実対実最適化手法を用いて最適電力配分決定を学習する。
論文 参考訳(メタデータ) (2020-02-17T07:54:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。