論文の概要: RRNet: Towards ReLU-Reduced Neural Network for Two-party Computation
Based Private Inference
- arxiv url: http://arxiv.org/abs/2302.02292v1
- Date: Sun, 5 Feb 2023 04:02:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-07 19:01:39.495400
- Title: RRNet: Towards ReLU-Reduced Neural Network for Two-party Computation
Based Private Inference
- Title(参考訳): RRNet: サードパーティ計算に基づくプライベート推論のためのReLU-Reduced Neural Networkを目指して
- Authors: Hongwu Peng, Shanglin Zhou, Yukui Luo, Nuo Xu, Shijin Duan, Ran Ran,
Jiahui Zhao, Shaoyi Huang, Xi Xie, Chenghong Wang, Tong Geng, Wujie Wen,
Xiaolin Xu, and Caiwen Ding
- Abstract要約: 本稿では,MPC比較プロトコルのオーバーヘッドを減らし,ハードウェアアクセラレーションによる計算を高速化するフレームワークRRNetを紹介する。
提案手法は,暗号ビルディングブロックのハードウェア遅延をDNN損失関数に統合し,エネルギー効率,精度,セキュリティ保証を改善する。
- 参考スコア(独自算出の注目度): 17.299835585861747
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The proliferation of deep learning (DL) has led to the emergence of privacy
and security concerns. To address these issues, secure Two-party computation
(2PC) has been proposed as a means of enabling privacy-preserving DL
computation. However, in practice, 2PC methods often incur high computation and
communication overhead, which can impede their use in large-scale systems. To
address this challenge, we introduce RRNet, a systematic framework that aims to
jointly reduce the overhead of MPC comparison protocols and accelerate
computation through hardware acceleration. Our approach integrates the hardware
latency of cryptographic building blocks into the DNN loss function, resulting
in improved energy efficiency, accuracy, and security guarantees. Furthermore,
we propose a cryptographic hardware scheduler and corresponding performance
model for Field Programmable Gate Arrays (FPGAs) to further enhance the
efficiency of our framework. Experiments show RRNet achieved a much higher ReLU
reduction performance than all SOTA works on CIFAR-10 dataset.
- Abstract(参考訳): ディープラーニング(DL)の普及は、プライバシとセキュリティ上の懸念の出現につながっている。
これらの問題を解決するために,プライバシ保存型dl計算を実現する手段として,セキュアな二者計算(2pc)が提案されている。
しかし、実際には、2pc法は高い計算と通信のオーバーヘッドを伴い、大規模システムでの使用を阻害することがある。
この課題に対処するため,我々は,mpc比較プロトコルのオーバーヘッドを削減し,ハードウェアアクセラレーションによる計算を高速化することを目的とした体系的フレームワークrrnetを紹介する。
本手法では,dnn損失関数に暗号ブロックのハードウェア遅延を組み込むことにより,エネルギー効率,精度,セキュリティの保証が向上する。
さらに,フィールドプログラマブルゲートアレイ(FPGA)のハードウェアスケジューラとそれに対応する性能モデルを提案し,フレームワークの効率をさらに向上する。
RRNetは、CIFAR-10データセット上の全てのSOTA作業よりもはるかに高いReLU低減性能を達成した。
関連論文リスト
- Full-Stack Optimization for CAM-Only DNN Inference [2.0837295518447934]
本稿では,3次重み付けニューラルネットワークと連想プロセッサのアルゴリズム最適化の組み合わせについて検討する。
演算強度を低減し,APの畳み込みを最適化する新しいコンパイルフローを提案する。
本研究では,イメージネット上でのResNet-18推論のエネルギー効率を,クロスバーメモリアクセラレータと比較して7.5倍向上させる。
論文 参考訳(メタデータ) (2024-01-23T10:27:38Z) - Practical Conformer: Optimizing size, speed and flops of Conformer for
on-Device and cloud ASR [67.63332492134332]
我々は、デバイス上の制約を満たすのに十分小さく、TPUを高速に推論できる最適化されたコンバータを設計する。
提案するエンコーダは、デバイス上では強力なスタンドアロンエンコーダとして、また高性能なASRパイプラインの第1部として利用することができる。
論文 参考訳(メタデータ) (2023-03-31T23:30:48Z) - HyPHEN: A Hybrid Packing Method and Optimizations for Homomorphic
Encryption-Based Neural Networks [7.642103082787977]
完全同相暗号(FHE)を用いた畳み込みニューラルネットワーク(CNN)推論は、有望なプライベート推論(PI)ソリューションである。
本稿では、新しい畳み込みアルゴリズムとデータパッキングを組み込んだ深層HCNN構築法であるHyPHENを提案する。
その結果、HyPHENはHCNN CIFAR-10推論のレイテンシを1.4秒(ResNet-20)で実践レベルまで下げ、初めて14.7秒(ResNet-18)でHCNN ImageNet推論を示す。
論文 参考訳(メタデータ) (2023-02-05T15:36:51Z) - Signed Binary Weight Networks [17.07866119979333]
2つの重要なアルゴリズム技術は、効率の良い推論を可能にすることを約束している。
本稿では,さらに効率を向上させるために,署名バイナリネットワークと呼ばれる新しい手法を提案する。
提案手法は,イメージネットとCIFAR10データセットの2進法で同等の精度を達成し,69%の空間性を実現する。
論文 参考訳(メタデータ) (2022-11-25T00:19:21Z) - PolyMPCNet: Towards ReLU-free Neural Architecture Search in Two-party
Computation Based Private Inference [23.795457990555878]
プライバシー保護型ディープラーニング(DL)計算を可能にするために,セキュアなマルチパーティ計算(MPC)が議論されている。
MPCは計算オーバーヘッドが非常に高く、大規模システムではその人気を阻害する可能性がある。
本研究では,MPC比較プロトコルとハードウェアアクセラレーションの協調オーバーヘッド削減のための,PolyMPCNetという体系的なフレームワークを開発する。
論文 参考訳(メタデータ) (2022-09-20T02:47:37Z) - Towards Privacy-Preserving Neural Architecture Search [7.895707607608013]
PP-NASは、セキュアなマルチパーティ計算に基づく、プライバシ保護のニューラルネットワーク検索フレームワークである。
PP-NASはNASタスクを2つの非凝固クラウドサーバにアウトソースし、混合プロトコル設計を最大限に活用する。
我々は、Softmaxの指数演算の制限を回避し、精度を向上させながら、秘密共有よりもSoftmax関数を近似する新しい方法を開発した。
論文 参考訳(メタデータ) (2022-04-22T23:44:45Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - Multi-Exit Semantic Segmentation Networks [78.44441236864057]
本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。
パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。
接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
論文 参考訳(メタデータ) (2021-06-07T11:37:03Z) - Dynamic Slimmable Network [105.74546828182834]
ダイナミックスリム化システム「ダイナミックスリム化ネットワーク(DS-Net)」を開発。
ds-netは,提案するダブルヘッド動的ゲートによる動的推論機能を備えている。
静的圧縮法と最先端の静的および動的モデル圧縮法を一貫して上回っている。
論文 参考訳(メタデータ) (2021-03-24T15:25:20Z) - SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and
Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。
We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。
SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文 参考訳(メタデータ) (2021-01-04T18:54:07Z) - Deep Learning-based Resource Allocation For Device-to-Device
Communication [66.74874646973593]
デバイス間通信(D2D)を用いたマルチチャネルセルシステムにおいて,リソース割り当ての最適化のためのフレームワークを提案する。
任意のチャネル条件に対する最適な資源配分戦略をディープニューラルネットワーク(DNN)モデルにより近似する深層学習(DL)フレームワークを提案する。
シミュレーションの結果,提案手法のリアルタイム性能を低速で実現できることが確認された。
論文 参考訳(メタデータ) (2020-11-25T14:19:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。