論文の概要: Circa: Stochastic ReLUs for Private Deep Learning
- arxiv url: http://arxiv.org/abs/2106.08475v1
- Date: Tue, 15 Jun 2021 22:52:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-17 17:11:43.269721
- Title: Circa: Stochastic ReLUs for Private Deep Learning
- Title(参考訳): circa: プライベートディープラーニングのための確率的relus
- Authors: Zahra Ghodsi, Nandan Kumar Jha, Brandon Reagen, Siddharth Garg
- Abstract要約: 我々はReLU計算を再考し、ニューラルネットワークに適したPIの最適化を提案する。
具体的には,ReLUを近似手形テストとして再構成し,手形テストのための新しい切り抜き手法を導入する。
最大4.7倍のストレージと3倍のランタイムをベースライン実装で実現した。
- 参考スコア(独自算出の注目度): 6.538025863698682
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The simultaneous rise of machine learning as a service and concerns over user
privacy have increasingly motivated the need for private inference (PI). While
recent work demonstrates PI is possible using cryptographic primitives, the
computational overheads render it impractical. The community is largely
unprepared to address these overheads, as the source of slowdown in PI stems
from the ReLU operator whereas optimizations for plaintext inference focus on
optimizing FLOPs. In this paper we re-think the ReLU computation and propose
optimizations for PI tailored to properties of neural networks. Specifically,
we reformulate ReLU as an approximate sign test and introduce a novel
truncation method for the sign test that significantly reduces the cost per
ReLU. These optimizations result in a specific type of stochastic ReLU. The key
observation is that the stochastic fault behavior is well suited for the
fault-tolerant properties of neural network inference. Thus, we provide
significant savings without impacting accuracy. We collectively call the
optimizations Circa and demonstrate improvements of up to 4.7x storage and 3x
runtime over baseline implementations; we further show that Circa can be used
on top of recent PI optimizations to obtain 1.8x additional speedup.
- Abstract(参考訳): サービスとしての機械学習とユーザのプライバシに対する懸念が同時に高まり、プライベート推論(pi)の必要性がますます高まっている。
最近の研究は、PIが暗号プリミティブを使って可能であることを実証している。
PIの減速の原因はReLU演算子にあるのに対して、平文推論の最適化はFLOPの最適化に重点を置いている。
本稿では,relu計算を再考し,ニューラルネットワークの特性に合わせたpiの最適化を提案する。
具体的には,reluを近似的な符号テストとして再構成し,reluあたりのコストを大幅に削減する新しい符号テストの切り換え手法を導入する。
これらの最適化は、特定のタイプの確率的再帰をもたらす。
重要な観察は、確率的欠陥挙動がニューラルネットワーク推論のフォールトトレラント特性によく適していることである。
これにより、精度を損なうことなく大幅な節約が可能となる。
本稿では,Circaの最適化を総称して,最大4.7倍のストレージと3倍のランタイムをベースライン実装で実現した。
関連論文リスト
- Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。
我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。
実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
論文 参考訳(メタデータ) (2024-06-12T16:58:41Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Understanding and Improving Optimization in Predictive Coding Networks [1.6114012813668934]
推論学習アルゴリズム(IL)は、バックプロパゲーション(BP)に代わる有望で、生物学的に証明可能な代替品である
ILは計算的に要求され、Adamのようなメモリ集約がなければ、ILはローカルのミニマに収束する可能性がある。
ILはBPよりも早く損失を減少させることができるが、これらのスピードアップやロバスト性の原因は不明である。
論文 参考訳(メタデータ) (2023-05-23T00:32:26Z) - DeepReShape: Redesigning Neural Networks for Efficient Private Inference [3.7802450241986945]
近年の研究では、PIのFLOPは無視できず、高いレイテンシのペナルティを負うことが示されている。
我々は、PIの制約下でニューラルネットワークアーキテクチャを最適化するDeepReShapeを開発した。
論文 参考訳(メタデータ) (2023-04-20T18:27:02Z) - HE-PEx: Efficient Machine Learning under Homomorphic Encryption using
Pruning, Permutation and Expansion [4.209035833239216]
ホモモルフィック暗号(homomorphic encryption, HE)は、暗号化されたデータ上で計算を行う方法である。
そこで本研究では,待ち時間とメモリ要求を低減し,HHEにプルーニング手法の有効性をもたらす新しいプルーニング手法を提案する。
タイルテンソルと呼ばれる最近提案されたパッキング技術を用いて,重みを充填する完全連結層上での本手法の利点を実証する。
論文 参考訳(メタデータ) (2022-07-07T15:49:24Z) - Selective Network Linearization for Efficient Private Inference [49.937470642033155]
本稿では,予測精度を維持しつつReLUを選択的に線形化する勾配に基づくアルゴリズムを提案する。
その結果、現在の技術よりも4.25%$の精度(so-ReLUは50K)、または2.2times$のレイテンシ(so-accuracyは70%)が低いことがわかった。
論文 参考訳(メタデータ) (2022-02-04T19:00:24Z) - DeepReDuce: ReLU Reduction for Fast Private Inference [6.538025863698682]
近年のプライバシに関する懸念が高まり、研究者はプライベートニューラルネットワークの手法を考案した。
暗号化データのコンピューティングは、急激なレイテンシペナルティを伴います。
本稿では,プライベートな推論遅延を低減するために,ReLUを不正に除去するための最適化セットであるDeepReDuceを提案する。
論文 参考訳(メタデータ) (2021-03-02T01:16:53Z) - Neural Pruning via Growing Regularization [82.9322109208353]
プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。
具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。
提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
論文 参考訳(メタデータ) (2020-12-16T20:16:28Z) - Activation Relaxation: A Local Dynamical Approximation to
Backpropagation in the Brain [62.997667081978825]
活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。
我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
論文 参考訳(メタデータ) (2020-09-11T11:56:34Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。