論文の概要: AESPA: Accuracy Preserving Low-degree Polynomial Activation for Fast Private Inference

• arxiv url: http://arxiv.org/abs/2201.06699v1
• Date: Tue, 18 Jan 2022 02:02:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-19 18:32:06.718220
• Title: AESPA: Accuracy Preserving Low-degree Polynomial Activation for Fast Private Inference
• Title（参考訳）: AESPA:高速プライベート推論のための低次多項式活性保存精度
• Authors: Jaiyoung Park and Michael Jaemin Kim and Wonkyung Jung and Jung Ho Ahn
• Abstract要約: 本稿では,ReLUのHermite展開とベースワイド正規化を利用した低次アクティベーション関数(AESPA)の高精度保存手法を提案する。 最先端のDelphi PIプロトコル上の全RELUベースラインに適用すると、AESPAは最大42.1倍、28.3倍のレイテンシと通信コストがかかる。
• 参考スコア（独自算出の注目度）: 1.4878320574640147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hybrid private inference (PI) protocol, which synergistically utilizes both multi-party computation (MPC) and homomorphic encryption, is one of the most prominent techniques for PI. However, even the state-of-the-art PI protocols are bottlenecked by the non-linear layers, especially the activation functions. Although a standard non-linear activation function can generate higher model accuracy, it must be processed via a costly garbled-circuit MPC primitive. A polynomial activation can be processed via Beaver's multiplication triples MPC primitive but has been incurring severe accuracy drops so far. In this paper, we propose an accuracy preserving low-degree polynomial activation function (AESPA) that exploits the Hermite expansion of the ReLU and basis-wise normalization. We apply AESPA to popular ML models, such as VGGNet, ResNet, and pre-activation ResNet, to show an inference accuracy comparable to those of the standard models with ReLU activation, achieving superior accuracy over prior low-degree polynomial studies. When applied to the all-RELU baseline on the state-of-the-art Delphi PI protocol, AESPA shows up to 42.1x and 28.3x lower online latency and communication cost.
• Abstract（参考訳）: マルチパーティ計算(MPC)と同型暗号化の両方を相乗的に利用するハイブリッドプライベート推論(PI)プロトコルは、PIの最も顕著な技術の一つである。 しかし、最先端のPIプロトコルでさえ非線形層、特にアクティベーション関数によってボトルネックとなる。 標準の非線形アクティベーション関数はモデル精度を高めることができるが、高価なガーブレード回路MPCプリミティブで処理する必要がある。 多項式活性化は、Beaverの乗算三重項 MPC プリミティブを介して処理できるが、これまで深刻な精度低下を引き起こしてきた。 本稿では,ReLUのHermite展開とベースワイド正規化を利用した低次多項式活性化関数(AESPA)の精度保存を提案する。 我々は、VGGNet、ResNet、Pre-activation ResNetなどの一般的なMLモデルにAESPAを適用し、ReLUアクティベートされた標準モデルのモデルに匹敵する推論精度を示し、以前の低次多項式研究よりも優れた精度を実現する。 最先端のDelphi PIプロトコル上の全RELUベースラインに適用すると、AESPAは最大42.1倍、28.3倍のレイテンシと通信コストがかかる。

関連論文リスト

• SimBa: Simplicity Bias for Scaling Up Parameters in Deep Reinforcement Learning [49.83621156017321]
  SimBaは、単純さのバイアスを注入することによって、深いRLでパラメータをスケールアップするように設計されたアーキテクチャである。 SimBaでパラメータをスケールアップすることで、オフポリシー、オンポリシー、アン教師なしメソッドを含む様々なディープRLアルゴリズムのサンプル効率が一貫して改善される。
  論文  参考訳（メタデータ） (2024-10-13T07:20:53Z)
• AdaPI: Facilitating DNN Model Adaptivity for Efficient Private Inference in Edge Computing [20.11448308239082]
  AdaPIは、多様なエネルギー予算を持つエッジデバイス間でモデルをうまく動作させることにより、適応的なPIを実現する新しいアプローチである。 AdaPIは各エネルギー予算に対して最適な精度を達成し、CIFAR-100の試験精度で最先端のPI手法を7.3%上回っている。
  論文  参考訳（メタデータ） (2024-07-08T05:58:49Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• xMLP: Revolutionizing Private Inference with Exclusive Square Activation [27.092753578066294]
  プライベート推論(PI)は、機密情報を漏らすことなく、ディープニューラルネットワーク(DNN)がプライベートデータを扱うことを可能にする。 DNNにおけるReLUのような非線形アクティベーションの使用は、急激なPIレイテンシにつながる可能性がある。 精度と効率の両面においてパリティを維持しつつ,二乗アクティベーションのみを利用する新しいDNNアーキテクチャであるxMLPを提案する。
  論文  参考訳（メタデータ） (2024-03-12T18:46:56Z)
• Optimized Layerwise Approximation for Efficient Private Inference on Fully Homomorphic Encryption [17.010625600442584]
  本研究では、プライバシー保護型ディープニューラルネットワークのための最適化レイヤワイド近似(OLA)フレームワークを提案する。 効率的な近似のために、各アクティベーション関数の実際の入力分布を考慮し、階層的精度を反映する。 その結果、OLA法はResNet-20モデルとResNet-32モデルの推論時間をそれぞれ3.02倍と2.82倍に削減した。
  論文  参考訳（メタデータ） (2023-10-16T12:34:47Z)
• Reliable Prediction Intervals with Directly Optimized Inductive Conformal Regression for Deep Learning [3.42658286826597]
  予測間隔(PI)は、ディープラーニング回帰における各予測の不確かさの定量化に使用される。 PIの品質向上のための多くのアプローチは、PIの幅を効果的に削減することができるが、実際のラベルが十分に取得されていることを保証しない。 本研究では,損失関数としてPIの平均幅のみを考慮に入れた直接最適化インダクティブ・コンダクティブ・レグレッション(DOICR)を用いる。 ベンチマーク実験により、DOICRは回帰問題に対する現在の最先端アルゴリズムよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-02-02T04:46:14Z)
• Selective Network Linearization for Efficient Private Inference [49.937470642033155]
  本稿では,予測精度を維持しつつReLUを選択的に線形化する勾配に基づくアルゴリズムを提案する。 その結果、現在の技術よりも4.25%$の精度(so-ReLUは50K)、または2.2times$のレイテンシ(so-accuracyは70%)が低いことがわかった。
  論文  参考訳（メタデータ） (2022-02-04T19:00:24Z)
• Sample Efficient Reinforcement Learning In Continuous State Spaces: A Perspective Beyond Linearity [50.38337893712897]
  線形性を仮定しないMDP上の構造条件であるEPW(Effective Planning Window)条件を導入する。 EPW条件は、この条件を満たすMDPを確実に解くアルゴリズムを提供することで、サンプル効率のよいRLを許容することを示した。 また, EPW のような条件の必要性も示し, わずかに非線形な単純な MDP を効率的にサンプリングできないことを示した。
  論文  参考訳（メタデータ） (2021-06-15T00:06:59Z)
• The Surprising Effectiveness of MAPPO in Cooperative, Multi-Agent Games [67.47961797770249]
  マルチエージェントPPO(MAPPO)は、集中型値関数を採用するマルチエージェントPPOバリアントである。 MAPPOは,3つの一般的なマルチエージェントテストベッドにおいて,最先端技術に匹敵する性能を実現していることを示す。
  論文  参考訳（メタデータ） (2021-03-02T18:59:56Z)
• HiPPO: Recurrent Memory with Optimal Polynomial Projections [93.3537706398653]
  本稿では,連続信号と離散時系列をベースに投影してオンライン圧縮するための一般フレームワーク(HiPPO)を提案する。 過去の各時間ステップの重要性を示す尺度が与えられた場合、HiPPOは自然なオンライン関数近似問題に対する最適解を生成する。 このフォーマルなフレームワークは、すべての履歴を記憶するために時間をかけてスケールする新しいメモリ更新メカニズム(HiPPO-LegS)を提供する。
  論文  参考訳（メタデータ） (2020-08-17T23:39:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。