論文の概要: CryptoNAS: Private Inference on a ReLU Budget
- arxiv url: http://arxiv.org/abs/2006.08733v2
- Date: Thu, 13 May 2021 16:52:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 04:00:51.590723
- Title: CryptoNAS: Private Inference on a ReLU Budget
- Title(参考訳): CryptoNAS: ReLU予算に関するプライベート推論
- Authors: Zahra Ghodsi, Akshaj Veldanda, Brandon Reagen, Siddharth Garg
- Abstract要約: 既存のモデルはプライベート推論(PI):入力を開示せずに推論を処理する方法に不適である。
本稿では,既存のモデルがPIに不適合であることを示すとともに,新しいNAS手法であるCryptoNASを提案する。
我々は、推論遅延のプロキシとしてReLU予算のアイデアを開発し、CryptoNASを使用して、所定の予算内で精度を最大化するモデルを構築する。
- 参考スコア(独自算出の注目度): 8.8438567779565
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning as a service has given raise to privacy concerns surrounding
clients' data and providers' models and has catalyzed research in private
inference (PI): methods to process inferences without disclosing inputs.
Recently, researchers have adapted cryptographic techniques to show PI is
possible, however all solutions increase inference latency beyond practical
limits. This paper makes the observation that existing models are ill-suited
for PI and proposes a novel NAS method, named CryptoNAS, for finding and
tailoring models to the needs of PI. The key insight is that in PI operator
latency cost are non-linear operations (e.g., ReLU) dominate latency, while
linear layers become effectively free. We develop the idea of a ReLU budget as
a proxy for inference latency and use CryptoNAS to build models that maximize
accuracy within a given budget. CryptoNAS improves accuracy by 3.4% and latency
by 2.4x over the state-of-the-art.
- Abstract(参考訳): サービスとしての機械学習は、クライアントのデータとプロバイダのモデルを取り巻くプライバシー上の懸念を高め、プライベート推論(PI)の研究を触媒とした。
近年、研究者はPIが可能であることを示すために暗号技術を適用しているが、すべてのソリューションが実用的な限界を超えて推論遅延を増加させている。
本稿では,既存のモデルがPIに不適合であることを示すとともに,新しいNAS手法であるCryptoNASを提案する。
重要な洞察は、PI演算子のレイテンシコストが非線形演算(例えば、ReLU)であり、線形層が効果的に自由になることである。
我々は、推論遅延のプロキシとしてReLU予算のアイデアを開発し、CryptoNASを使用して、所定の予算内で精度を最大化するモデルを構築する。
CryptoNASは精度を3.4%改善し、最先端よりも2.4倍遅延する。
関連論文リスト
- Towards Fast and Scalable Private Inference [2.2702420046035865]
プライバシ保護(PPC)と呼ばれる新しいコンピューティングパラダイムが存在する。
PPC技術は、セキュアなアウトソース計算や、2つのパーティがユーザーの秘密データを公開せずに計算できるように活用することができる。
デジタル時代においてユーザー保護に革命をもたらすという驚くべき可能性にもかかわらず、その実現は計算量、通信量、ストレージのオーバーヘッドによって制限されてきた。
論文 参考訳(メタデータ) (2023-07-09T00:55:30Z) - $\beta$-DARTS++: Bi-level Regularization for Proxy-robust Differentiable
Architecture Search [96.99525100285084]
DARTSに基づくNAS探索プロセス($beta$-DARTS)を正規化するための正規化手法であるBeta-Decayを提案する。
どのように動作するのか、なぜ動作するのかに関する詳細な理論的分析が提供される。
論文 参考訳(メタデータ) (2023-01-16T12:30:32Z) - TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。
プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。
我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文 参考訳(メタデータ) (2022-10-07T08:44:35Z) - Selective Network Linearization for Efficient Private Inference [49.937470642033155]
本稿では,予測精度を維持しつつReLUを選択的に線形化する勾配に基づくアルゴリズムを提案する。
その結果、現在の技術よりも4.25%$の精度(so-ReLUは50K)、または2.2times$のレイテンシ(so-accuracyは70%)が低いことがわかった。
論文 参考訳(メタデータ) (2022-02-04T19:00:24Z) - Sphynx: ReLU-Efficient Network Design for Private Inference [49.73927340643812]
そこでは、サービスプロバイダのモデルを使用して、ユーザのデータサンプルに対する推論を実行することを目標としています。
ディープネットワークのための既存のPIメソッドは、機能低下の少ない暗号的にセキュアな推論を可能にする。
本稿では,畳み込みセル設計のためのマイクロサーチ手法に基づくReLU効率の高いネットワーク設計手法であるSphynxを提案する。
論文 参考訳(メタデータ) (2021-06-17T18:11:10Z) - Circa: Stochastic ReLUs for Private Deep Learning [6.538025863698682]
我々はReLU計算を再考し、ニューラルネットワークに適したPIの最適化を提案する。
具体的には,ReLUを近似手形テストとして再構成し,手形テストのための新しい切り抜き手法を導入する。
最大4.7倍のストレージと3倍のランタイムをベースライン実装で実現した。
論文 参考訳(メタデータ) (2021-06-15T22:52:45Z) - DeepReDuce: ReLU Reduction for Fast Private Inference [6.538025863698682]
近年のプライバシに関する懸念が高まり、研究者はプライベートニューラルネットワークの手法を考案した。
暗号化データのコンピューティングは、急激なレイテンシペナルティを伴います。
本稿では,プライベートな推論遅延を低減するために,ReLUを不正に除去するための最適化セットであるDeepReDuceを提案する。
論文 参考訳(メタデータ) (2021-03-02T01:16:53Z) - Faster Secure Data Mining via Distributed Homomorphic Encryption [108.77460689459247]
ホモモルフィック暗号化(HE)は、最近、暗号化されたフィールド上で計算を行う能力により、ますます注目を集めている。
本稿では,スケーリング問題の解決に向けて,新しい分散HEベースのデータマイニングフレームワークを提案する。
各種データマイニングアルゴリズムとベンチマークデータセットを用いて,新しいフレームワークの有効性と有効性を検証する。
論文 参考訳(メタデータ) (2020-06-17T18:14:30Z) - CryptoSPN: Privacy-preserving Sum-Product Network Inference [84.88362774693914]
総生産ネットワーク(SPN)のプライバシ保護のためのフレームワークを提案する。
CryptoSPNは、中規模のSPNに対して秒の順序で高効率で正確な推論を行う。
論文 参考訳(メタデータ) (2020-02-03T14:49:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。