論文の概要: Circa: Stochastic ReLUs for Private Deep Learning

• arxiv url: http://arxiv.org/abs/2106.08475v1
• Date: Tue, 15 Jun 2021 22:52:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-17 17:11:43.269721
• Title: Circa: Stochastic ReLUs for Private Deep Learning
• Title（参考訳）: circa: プライベートディープラーニングのための確率的relus
• Authors: Zahra Ghodsi, Nandan Kumar Jha, Brandon Reagen, Siddharth Garg
• Abstract要約: 我々はReLU計算を再考し、ニューラルネットワークに適したPIの最適化を提案する。 具体的には,ReLUを近似手形テストとして再構成し,手形テストのための新しい切り抜き手法を導入する。 最大4.7倍のストレージと3倍のランタイムをベースライン実装で実現した。
• 参考スコア（独自算出の注目度）: 6.538025863698682
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The simultaneous rise of machine learning as a service and concerns over user privacy have increasingly motivated the need for private inference (PI). While recent work demonstrates PI is possible using cryptographic primitives, the computational overheads render it impractical. The community is largely unprepared to address these overheads, as the source of slowdown in PI stems from the ReLU operator whereas optimizations for plaintext inference focus on optimizing FLOPs. In this paper we re-think the ReLU computation and propose optimizations for PI tailored to properties of neural networks. Specifically, we reformulate ReLU as an approximate sign test and introduce a novel truncation method for the sign test that significantly reduces the cost per ReLU. These optimizations result in a specific type of stochastic ReLU. The key observation is that the stochastic fault behavior is well suited for the fault-tolerant properties of neural network inference. Thus, we provide significant savings without impacting accuracy. We collectively call the optimizations Circa and demonstrate improvements of up to 4.7x storage and 3x runtime over baseline implementations; we further show that Circa can be used on top of recent PI optimizations to obtain 1.8x additional speedup.
• Abstract（参考訳）: サービスとしての機械学習とユーザのプライバシに対する懸念が同時に高まり、プライベート推論(pi)の必要性がますます高まっている。 最近の研究は、PIが暗号プリミティブを使って可能であることを実証している。 PIの減速の原因はReLU演算子にあるのに対して、平文推論の最適化はFLOPの最適化に重点を置いている。 本稿では,relu計算を再考し,ニューラルネットワークの特性に合わせたpiの最適化を提案する。 具体的には,reluを近似的な符号テストとして再構成し,reluあたりのコストを大幅に削減する新しい符号テストの切り換え手法を導入する。 これらの最適化は、特定のタイプの確率的再帰をもたらす。 重要な観察は、確率的欠陥挙動がニューラルネットワーク推論のフォールトトレラント特性によく適していることである。 これにより、精度を損なうことなく大幅な節約が可能となる。 本稿では,Circaの最適化を総称して,最大4.7倍のストレージと3倍のランタイムをベースライン実装で実現した。

関連論文リスト

• Exact, Tractable Gauss-Newton Optimization in Deep Reversible Architectures Reveal Poor Generalization [52.16435732772263]
  多くのアプリケーションにおいて、ディープニューラルネットワークのトレーニングを加速する2階最適化が示されている。 しかし、二階法の一般化特性についてはいまだ議論が続いている。 我々は、Gauss-Newton (GN) の正確な更新が、ディープアーキテクチャのクラスにおいて、牽引可能な形式を取ることを初めて示す。
  論文  参考訳（メタデータ） (2024-11-12T17:58:40Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Understanding and Improving Optimization in Predictive Coding Networks [1.6114012813668934]
  推論学習アルゴリズム(IL)は、バックプロパゲーション(BP)に代わる有望で、生物学的に証明可能な代替品である ILは計算的に要求され、Adamのようなメモリ集約がなければ、ILはローカルのミニマに収束する可能性がある。 ILはBPよりも早く損失を減少させることができるが、これらのスピードアップやロバスト性の原因は不明である。
  論文  参考訳（メタデータ） (2023-05-23T00:32:26Z)
• DeepReShape: Redesigning Neural Networks for Efficient Private Inference [3.7802450241986945]
  近年の研究では、PIのFLOPは無視できず、高いレイテンシのペナルティを負うことが示されている。 我々は、PIの制約下でニューラルネットワークアーキテクチャを最適化するDeepReShapeを開発した。
  論文  参考訳（メタデータ） (2023-04-20T18:27:02Z)
• Learning to Linearize Deep Neural Networks for Secure and Efficient Private Inference [5.293553970082942]
  既存のReLU操作を減らす技術は、しばしば手作業と精度を犠牲にする。 まず、非線形層のReLU感度の新たな尺度を示し、時間を要する手作業の軽減を可能にする。 次に、レイヤごとのReLU数を自動割り当てし、各レイヤのアクティベーションマップのReLU位置を決定し、ReLUをはるかに少ないモデルでトレーニングする3段階トレーニング手法SENetを提案する。
  論文  参考訳（メタデータ） (2023-01-23T03:33:38Z)
• Selective Network Linearization for Efficient Private Inference [49.937470642033155]
  本稿では,予測精度を維持しつつReLUを選択的に線形化する勾配に基づくアルゴリズムを提案する。 その結果、現在の技術よりも4.25%$の精度(so-ReLUは50K)、または2.2times$のレイテンシ(so-accuracyは70%)が低いことがわかった。
  論文  参考訳（メタデータ） (2022-02-04T19:00:24Z)
• DeepReDuce: ReLU Reduction for Fast Private Inference [6.538025863698682]
  近年のプライバシに関する懸念が高まり、研究者はプライベートニューラルネットワークの手法を考案した。 暗号化データのコンピューティングは、急激なレイテンシペナルティを伴います。 本稿では,プライベートな推論遅延を低減するために,ReLUを不正に除去するための最適化セットであるDeepReDuceを提案する。
  論文  参考訳（メタデータ） (2021-03-02T01:16:53Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。