論文の概要: Sisyphus: A Cautionary Tale of Using Low-Degree Polynomial Activations in Privacy-Preserving Deep Learning

• arxiv url: http://arxiv.org/abs/2107.12342v1
• Date: Mon, 26 Jul 2021 17:33:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-27 15:47:39.557023
• Title: Sisyphus: A Cautionary Tale of Using Low-Degree Polynomial Activations in Privacy-Preserving Deep Learning
• Title（参考訳）: sisyphus: プライバシー保護深層学習における低次多項式アクティベーションを用いた注意物語
• Authors: Karthik Garimella, Nandan Kumar Jha and Brandon Reagen
• Abstract要約: クライアントサーバ機械学習におけるプライバシの懸念により、プライベート推論(PI)が生まれ、そこでは、ニューラルネットワークが暗号化された入力に直接発生する。 深いプライバシーに配慮したニューラルネットワークを構築するために、すべてのReLUを低度の帯域幅のアクティベーション機能に置き換えることは可能か? ReLUをPIに置換する際の課題を解析し、簡単なドロップ・アンド・リプレース・ソリューションから始まり、より複雑な置換・アンド・リトレイン戦略を考察する。
• 参考スコア（独自算出の注目度）: 2.5677092608889773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Privacy concerns in client-server machine learning have given rise to private inference (PI), where neural inference occurs directly on encrypted inputs. PI protects clients' personal data and the server's intellectual property. A common practice in PI is to use garbled circuits to compute nonlinear functions privately, namely ReLUs. However, garbled circuits suffer from high storage, bandwidth, and latency costs. To mitigate these issues, PI-friendly polynomial activation functions have been employed to replace ReLU. In this work, we ask: Is it feasible to substitute all ReLUs with low-degree polynomial activation functions for building deep, privacy-friendly neural networks? We explore this question by analyzing the challenges of substituting ReLUs with polynomials, starting with simple drop-and-replace solutions to novel, more involved replace-and-retrain strategies. We examine the limitations of each method and provide commentary on the use of polynomial activation functions for PI. We find all evaluated solutions suffer from the escaping activation problem: forward activation values inevitably begin to expand at an exponential rate away from stable regions of the polynomials, which leads to exploding values (NaNs) or poor approximations.
• Abstract（参考訳）: クライアントサーバ機械学習におけるプライバシの懸念がプライベート推論(PI)を引き起こし、暗号化された入力に直接神経推論が発生する。 PIはクライアントの個人情報とサーバの知的財産を保護する。 PIの一般的な実践は、ガーブラード回路を用いて非線形関数、すなわちReLUをプライベートに計算することである。 しかし、garbled回路は高いストレージ、帯域幅、レイテンシのコストに苦しんでいる。 これらの問題を緩和するため、PIフレンドリーな多項式活性化関数がReLUを置き換えるために採用されている。 ディープでプライバシフレンドリーなニューラルネットワークを構築するために、すべてのReLUを低次多項式活性化関数に置き換えることは可能か? 本稿では,ReLUを多項式に置き換えることの課題を分析することにより,新しい,より複雑な代替・規制戦略への単純なドロップ・アンド・リプレース・ソリューションから始める。 本稿では,各手法の限界について検討し,PIに対する多項式活性化関数の利用について解説する。 フォワードアクティベーション値は必然的に多項式の安定な領域から遠ざかって指数関数的な速度で拡大し始め、爆発的な値(NaN)や近似不足につながる。

関連論文リスト

• Regularized PolyKervNets: Optimizing Expressiveness and Efficiency for Private Inference in Deep Neural Networks [0.0]
  より小さなネットワークで動的近似を改善する技術としてよく知られているPolyKervNetsに注目する。 我々の主な目的は、大規模ネットワークにおけるPolyKervNetの性能を高めるために、最適化に基づくトレーニングレシピを実証的に探索することである。
  論文  参考訳（メタデータ） (2023-12-23T11:37:18Z)
• Physics-informed PointNet: On how many irregular geometries can it solve an inverse problem simultaneously? Application to linear elasticity [58.44709568277582]
  物理インフォームドポイントネット(PIPN)は、PINNと完全に教師付き学習モデルの間のギャップを埋めるように設計されている。 PIPNは数百の領域で所望の偏微分方程式の解を同時に予測する。 具体的には、PIPNは、異なるジオメトリを持つ500以上の領域にまたがる平面応力問題の解を同時に予測する。
  論文  参考訳（メタデータ） (2023-03-22T06:49:34Z)
• Selective Network Linearization for Efficient Private Inference [49.937470642033155]
  本稿では,予測精度を維持しつつReLUを選択的に線形化する勾配に基づくアルゴリズムを提案する。 その結果、現在の技術よりも4.25%$の精度(so-ReLUは50K)、または2.2times$のレイテンシ(so-accuracyは70%)が低いことがわかった。
  論文  参考訳（メタデータ） (2022-02-04T19:00:24Z)
• Circa: Stochastic ReLUs for Private Deep Learning [6.538025863698682]
  我々はReLU計算を再考し、ニューラルネットワークに適したPIの最適化を提案する。 具体的には,ReLUを近似手形テストとして再構成し,手形テストのための新しい切り抜き手法を導入する。 最大4.7倍のストレージと3倍のランタイムをベースライン実装で実現した。
  論文  参考訳（メタデータ） (2021-06-15T22:52:45Z)
• S++: A Fast and Deployable Secure-Computation Framework for Privacy-Preserving Neural Network Training [0.4893345190925178]
  複数のソースからのプライベートデータを使用して、ニューラルネットワーク(NN)をトレーニングするための、シンプルで堅牢でデプロイ可能なフレームワークであるS++を紹介します。 はじめに、すべての共通アクティベーション関数に対して高速かつ検証可能なプロトコルを提供し、それらを秘密の方法で実行するために最適化する。
  論文  参考訳（メタデータ） (2021-01-28T15:48:54Z)
• On Polynomial Approximations for Privacy-Preserving and Verifiable ReLU Networks [6.130998208629276]
  次数2のアクティベーション関数を1次項で提案し、より優れたモデルに導出できることを実証的に示す。 提案関数は正方形関数と比較して最大10.4%精度が向上する。
  論文  参考訳（メタデータ） (2020-11-11T03:32:22Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)
• HiPPO: Recurrent Memory with Optimal Polynomial Projections [93.3537706398653]
  本稿では,連続信号と離散時系列をベースに投影してオンライン圧縮するための一般フレームワーク(HiPPO)を提案する。 過去の各時間ステップの重要性を示す尺度が与えられた場合、HiPPOは自然なオンライン関数近似問題に対する最適解を生成する。 このフォーマルなフレームワークは、すべての履歴を記憶するために時間をかけてスケールする新しいメモリ更新メカニズム(HiPPO-LegS)を提供する。
  論文  参考訳（メタデータ） (2020-08-17T23:39:33Z)
• Computational Barriers to Estimation from Low-Degree Polynomials [81.67886161671379]
  本研究では,隠れ構造物の存在を検知する作業において,低次構造物のパワーについて検討する。 大規模な「信号+雑音」問題に対して、任意の程度に達成可能な最良の平均二乗誤差に対して、ユーザフレンドリな下界を与える。 応用として,植込みサブマトリクスに対する低次平均2乗誤差の厳密な評価と高密度サブグラフ問題について述べる。
  論文  参考訳（メタデータ） (2020-08-05T17:52:10Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)
• Deep Neural Networks with Trainable Activations and Controlled Lipschitz Constant [26.22495169129119]
  本稿では,深層ニューラルネットワークの活性化関数を学習するための変分フレームワークを提案する。 我々の目的は、リプシッツ定数の上界を制御しながら、ネットワークの容量を増加させることである。 提案手法を標準ReLUネットワークとその変種であるPRELUとLeakyReLUと比較する。
  論文  参考訳（メタデータ） (2020-01-17T12:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。