論文の概要: DeepReDuce: ReLU Reduction for Fast Private Inference

• arxiv url: http://arxiv.org/abs/2103.01396v1
• Date: Tue, 2 Mar 2021 01:16:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 15:52:36.917072
• Title: DeepReDuce: ReLU Reduction for Fast Private Inference
• Title（参考訳）: DeepReDuce: 高速プライベート推論のためのReLU削減
• Authors: Nandan Kumar Jha, Zahra Ghodsi, Siddharth Garg, Brandon Reagen
• Abstract要約: 近年のプライバシに関する懸念が高まり、研究者はプライベートニューラルネットワークの手法を考案した。 暗号化データのコンピューティングは、急激なレイテンシペナルティを伴います。 本稿では,プライベートな推論遅延を低減するために,ReLUを不正に除去するための最適化セットであるDeepReDuceを提案する。
• 参考スコア（独自算出の注目度）: 6.538025863698682
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent rise of privacy concerns has led researchers to devise methods for private neural inference -- where inferences are made directly on encrypted data, never seeing inputs. The primary challenge facing private inference is that computing on encrypted data levies an impractically-high latency penalty, stemming mostly from non-linear operators like ReLU. Enabling practical and private inference requires new optimization methods that minimize network ReLU counts while preserving accuracy. This paper proposes DeepReDuce: a set of optimizations for the judicious removal of ReLUs to reduce private inference latency. The key insight is that not all ReLUs contribute equally to accuracy. We leverage this insight to drop, or remove, ReLUs from classic networks to significantly reduce inference latency and maintain high accuracy. Given a target network, DeepReDuce outputs a Pareto frontier of networks that tradeoff the number of ReLUs and accuracy. Compared to the state-of-the-art for private inference DeepReDuce improves accuracy and reduces ReLU count by up to 3.5% (iso-ReLU count) and 3.5$\times$ (iso-accuracy), respectively.
• Abstract（参考訳）: 最近のプライバシーの懸念の高まりにより、研究者はプライベートなニューラルネットワーク推論の手法を考案しました。 プライベート推論に直面する主な課題は、暗号化されたデータに対する計算が非現実的に高いレイテンシのペナルティを課すことである。 実用的でプライベートな推論を可能にするには、精度を維持しながらネットワークリルーカウントを最小化する新しい最適化手法が必要である。 本稿では,プライベートな推論遅延を低減するために,ReLUを不正に除去するための最適化セットであるDeepReDuceを提案する。 重要な洞察は、すべてのReLUが正確性に等しく貢献するわけではないことである。 この洞察を利用して、古典的なネットワークからReLUをドロップまたは削除し、推論遅延を大幅に低減し、高い精度を維持する。 DeepReDuceは、ターゲットネットワークを指定し、ReLUの数と精度をトレードオフするネットワークのParetoフロンティアを出力します。 プライベート推論のための最先端のDeepReDuceと比較して、精度が向上し、ReLUカウントを最大3.5%(iso-ReLUカウント)と3.5$\times$(iso-accuracy)に削減します。

関連論文リスト

• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• DeepReShape: Redesigning Neural Networks for Efficient Private Inference [3.7802450241986945]
  近年の研究では、PIのFLOPは無視できず、高いレイテンシのペナルティを負うことが示されている。 我々は、PIの制約下でニューラルネットワークアーキテクチャを最適化するDeepReShapeを開発した。
  論文  参考訳（メタデータ） (2023-04-20T18:27:02Z)
• Learning to Linearize Deep Neural Networks for Secure and Efficient Private Inference [5.293553970082942]
  既存のReLU操作を減らす技術は、しばしば手作業と精度を犠牲にする。 まず、非線形層のReLU感度の新たな尺度を示し、時間を要する手作業の軽減を可能にする。 次に、レイヤごとのReLU数を自動割り当てし、各レイヤのアクティベーションマップのReLU位置を決定し、ReLUをはるかに少ないモデルでトレーニングする3段階トレーニング手法SENetを提案する。
  論文  参考訳（メタデータ） (2023-01-23T03:33:38Z)
• On Differential Privacy for Federated Learning in Wireless Systems with Multiple Base Stations [90.53293906751747]
  複数の基地局とセル間干渉を持つ無線システムにおける連合学習モデルを考える。 本稿では,学習過程の収束挙動を,その最適性ギャップの上限を導出することによって示す。 提案するスケジューラは,ランダムなスケジューラと比較して予測平均精度を向上する。
  論文  参考訳（メタデータ） (2022-08-25T03:37:11Z)
• Selective Network Linearization for Efficient Private Inference [49.937470642033155]
  本稿では,予測精度を維持しつつReLUを選択的に線形化する勾配に基づくアルゴリズムを提案する。 その結果、現在の技術よりも4.25%$の精度(so-ReLUは50K)、または2.2times$のレイテンシ(so-accuracyは70%)が低いことがわかった。
  論文  参考訳（メタデータ） (2022-02-04T19:00:24Z)
• Sphynx: ReLU-Efficient Network Design for Private Inference [49.73927340643812]
  そこでは、サービスプロバイダのモデルを使用して、ユーザのデータサンプルに対する推論を実行することを目標としています。 ディープネットワークのための既存のPIメソッドは、機能低下の少ない暗号的にセキュアな推論を可能にする。 本稿では,畳み込みセル設計のためのマイクロサーチ手法に基づくReLU効率の高いネットワーク設計手法であるSphynxを提案する。
  論文  参考訳（メタデータ） (2021-06-17T18:11:10Z)
• Circa: Stochastic ReLUs for Private Deep Learning [6.538025863698682]
  我々はReLU計算を再考し、ニューラルネットワークに適したPIの最適化を提案する。 具体的には,ReLUを近似手形テストとして再構成し,手形テストのための新しい切り抜き手法を導入する。 最大4.7倍のストレージと3倍のランタイムをベースライン実装で実現した。
  論文  参考訳（メタデータ） (2021-06-15T22:52:45Z)
• ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting [105.97936163854693]
  本稿では,畳み込み層の幅(出力チャネル数)を小さくすることで,CNNをスリム化するResRepを提案する。 記憶と忘れの独立性に関する神経生物学の研究から着想を得て,CNNを記憶部分と忘れ部分にパラメータ化することを提案する。 私たちは、記憶と忘れ物を、より狭いレイヤで元のアーキテクチャにマージします。
  論文  参考訳（メタデータ） (2020-07-07T07:56:45Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• CryptoNAS: Private Inference on a ReLU Budget [8.8438567779565]
  既存のモデルはプライベート推論(PI):入力を開示せずに推論を処理する方法に不適である。 本稿では,既存のモデルがPIに不適合であることを示すとともに,新しいNAS手法であるCryptoNASを提案する。 我々は、推論遅延のプロキシとしてReLU予算のアイデアを開発し、CryptoNASを使用して、所定の予算内で精度を最大化するモデルを構築する。
  論文  参考訳（メタデータ） (2020-06-15T20:06:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。