Fugu-MT 論文翻訳(概要): CoPriv: Network/Protocol Co-Optimization for Communication-Efficient Private Inference

論文の概要: CoPriv: Network/Protocol Co-Optimization for Communication-Efficient Private Inference

arxiv url: http://arxiv.org/abs/2311.01737v1
Date: Fri, 3 Nov 2023 06:19:48 GMT
ステータス: 処理完了
システム内更新日: 2024-03-25 13:45:54.903467
Title: CoPriv: Network/Protocol Co-Optimization for Communication-Efficient Private Inference
Title（参考訳）: CoPriv:通信効率の良いプライベート推論のためのネットワーク/プロトコル協調最適化
Authors: Wenxuan Zeng, Meng Li, Haichuan Yang, Wen-jie Lu, Runsheng Wang, Ru Huang,
Abstract要約: セキュアな2つのパーティ(2PC)に基づくディープニューラルネットワーク(DNN)推論は、暗号的にセキュアなプライバシ保護を提供する。これまでの作業は、通信オーバーヘッドを近似するために、ReLUカウントのプロキシメトリックに大きく依存していました。 2PC推論プロトコルとDNNアーキテクチャを協調的に最適化するフレームワークであるCoPrivを提案する。
参考スコア（独自算出の注目度）: 13.039573608167077
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep neural network (DNN) inference based on secure 2-party computation (2PC) can offer cryptographically-secure privacy protection but suffers from orders of magnitude latency overhead due to enormous communication. Previous works heavily rely on a proxy metric of ReLU counts to approximate the communication overhead and focus on reducing the ReLUs to improve the communication efficiency. However, we observe these works achieve limited communication reduction for state-of-the-art (SOTA) 2PC protocols due to the ignorance of other linear and non-linear operations, which now contribute to the majority of communication. In this work, we present CoPriv, a framework that jointly optimizes the 2PC inference protocol and the DNN architecture. CoPriv features a new 2PC protocol for convolution based on Winograd transformation and develops DNN-aware optimization to significantly reduce the inference communication. CoPriv further develops a 2PC-aware network optimization algorithm that is compatible with the proposed protocol and simultaneously reduces the communication for all the linear and non-linear operations. We compare CoPriv with the SOTA 2PC protocol, CrypTFlow2, and demonstrate 2.1x communication reduction for both ResNet-18 and ResNet-32 on CIFAR-100. We also compare CoPriv with SOTA network optimization methods, including SNL, MetaPruning, etc. CoPriv achieves 9.98x and 3.88x online and total communication reduction with a higher accuracy compare to SNL, respectively. CoPriv also achieves 3.87x online communication reduction with more than 3% higher accuracy compared to MetaPruning.
Abstract（参考訳）: セキュアな2次元計算(2PC)に基づくディープニューラルネットワーク(DNN)推論は、暗号的にセキュアなプライバシ保護を提供するが、巨大な通信による遅延オーバヘッドの桁違いに悩まされる。これまでの作業は、通信オーバーヘッドを近似し、通信効率を改善するためにReLUを減らすことに集中するために、ReLUカウントのプロキシメトリックに大きく依存していました。しかし, 現在では通信の大部分に寄与する線形および非線形操作の無知により, 最先端(SOTA)2PCプロトコルの通信削減が制限されている。本研究では,2PC推論プロトコルとDNNアーキテクチャを協調的に最適化するフレームワークであるCoPrivを提案する。 CoPrivはWinograd変換に基づく畳み込みのための新しい2PCプロトコルを備え、推論通信を大幅に削減するためにDNN対応の最適化を開発している。 CoPrivはさらに、提案プロトコルと互換性のある2PC対応ネットワーク最適化アルゴリズムを開発し、線形および非線形の全ての操作に対する通信を同時に削減する。我々はCoPrivをSOTA 2PCプロトコルであるCrypTFlow2と比較し、CIFAR-100上でResNet-18とResNet-32の2.1倍の通信削減を示す。また、CoPrivをSNL、MetaPruningなどを含むSOTAネットワーク最適化手法と比較する。 CoPrivは、SNLよりも高い精度で、9.98倍と3.88倍の通信削減を実現している。 CoPrivはまた、MetaPruningに比べて3%以上の精度で3.87倍のオンラインコミュニケーション削減を実現している。

関連論文リスト

PrivQuant: Communication-Efficient Private Inference with Quantized Network/Protocol Co-Optimization [2.9203160719029073]
既存のセキュアな2PCフレームワークは、巨大な通信のために高い推論遅延に悩まされる。 2PCベースの量子化推論プロトコルとネットワーク量子化アルゴリズムを協調的に最適化するフレームワークであるPrivQuantを提案する。 PrivQuantは通信を11時間短縮し、2.5times Mathrmと2.8times$が8.7タイム、1.8times Mathrmと2.4times$遅延をSiRNN、COINN、CoPrivと比較した。
論文参考訳（メタデータ） (2024-10-12T13:28:42Z)
Hyperdimensional Computing Empowered Federated Foundation Model over Wireless Networks for Metaverse [56.384390765357004]
本稿では,新しい基礎モデルのための統合型分割学習と超次元計算フレームワークを提案する。この新しいアプローチは通信コスト、計算負荷、プライバシーリスクを低減し、Metaverseのリソース制約されたエッジデバイスに適している。
論文参考訳（メタデータ） (2024-08-26T17:03:14Z)
UniPTS: A Unified Framework for Proficient Post-Training Sparsity [67.16547529992928]
Post-Traiing Sparsity (PTS)は、必要な限られたデータで効率的なネットワークスパシティを追求する、新たに登場した道である。本稿では,従来のスパシティの性能をPSSの文脈に大きく変化させる3つの基本因子を変換することで,この相違を解消しようとする。我々のフレームワークはUniPTSと呼ばれ、広範囲のベンチマークで既存のPTSメソッドよりも優れていることが検証されている。
論文参考訳（メタデータ） (2024-05-29T06:53:18Z)
EQO: Exploring Ultra-Efficient Private Inference with Winograd-Based Protocol and Quantization Co-Optimization [3.1330492824737055]
セキュアな双方向計算(2PC)に基づくプライベート畳み込みニューラルネットワーク(CNN)の推論は、高い通信と遅延オーバーヘッドに悩まされる。本稿では,CNNと2PCプロトコルを協調的に最適化する量子化2PC推論フレームワークであるEQOを提案する。広範な実験により、EQOは1.7x、3.6x、6.3xの通信削減を1.29%、1.16%、1.29%の精度で実証した。
論文参考訳（メタデータ） (2024-04-15T01:41:18Z)
Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
論文参考訳（メタデータ） (2024-02-19T05:59:09Z)
Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity [92.1840862558718]
ダウンリンク圧縮のための新しい手法であるMARINA-Pを導入する。置換圧縮機を用いたMARINA-Pは、作業者数に応じてサーバ間通信の複雑さを向上できることを示す。本稿では,MARINA-Pとアップリンク圧縮とモーメントステップを組み合わせた手法であるM3を導入する。
論文参考訳（メタデータ） (2024-02-09T13:58:33Z)
HEQuant: Marrying Homomorphic Encryption and Quantization for Communication-Efficient Private Inference [2.498379184732383]
HEベースのプロトコルに対して,低精度量子化を意識した最適化を実現するHEQuantを提案する。 CrypTFlow2、Cheetah、Ironなど、従来のHEベースのプロトコルと比較して、HEQuantは3.5sim 23.4times$通信削減を実現している。
論文参考訳（メタデータ） (2024-01-29T08:59:05Z)
High-Throughput Secure Multiparty Computation with an Honest Majority in Various Network Settings [16.242352823823218]
本稿では,セキュアな3次元計算(3PC)と悪意のある4次元計算(4PC)のためのリング上の新しいプロトコルを提案する。我々のプロトコルは、パフォーマンスを著しく低下させることなく、パーティ間の複数の弱いネットワークリンクを任意に許容する。これにより、関連する作業に比べてゲート当たりの基本命令の最大半分を必要とすることで、計算の複雑さを著しく低減する。
論文参考訳（メタデータ） (2022-06-08T09:46:37Z)
1-bit LAMB: Communication Efficient Large-Scale Large-Batch Training with LAMB's Convergence Speed [17.953619054149378]
通信を圧縮した場合でも適応層学習率をサポートする新しい通信効率の高い1ビットラムを提案する。バッチサイズが8Kから64KのBERT-Large事前学習タスクでは,NCCLベースのバックエンドを持つ1ビットLAMBが最大4.6倍の通信量削減を実現可能であることを示す。
論文参考訳（メタデータ） (2021-04-13T10:07:49Z)
Deep Learning-based Resource Allocation For Device-to-Device Communication [66.74874646973593]
デバイス間通信(D2D)を用いたマルチチャネルセルシステムにおいて,リソース割り当ての最適化のためのフレームワークを提案する。任意のチャネル条件に対する最適な資源配分戦略をディープニューラルネットワーク(DNN)モデルにより近似する深層学習(DL)フレームワークを提案する。シミュレーションの結果,提案手法のリアルタイム性能を低速で実現できることが確認された。
論文参考訳（メタデータ） (2020-11-25T14:19:23Z)
ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文参考訳（メタデータ） (2020-03-07T02:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。