論文の概要: xMLP: Revolutionizing Private Inference with Exclusive Square Activation
- arxiv url: http://arxiv.org/abs/2403.08024v1
- Date: Tue, 12 Mar 2024 18:46:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 16:55:16.425907
- Title: xMLP: Revolutionizing Private Inference with Exclusive Square Activation
- Title（参考訳）: xMLP: 排他的正方形活性化によるプライベート推論の革命
- Authors: Jiajie Li, Jinjun Xiong
- Abstract要約: プライベート推論(PI)は、機密情報を漏らすことなく、ディープニューラルネットワーク(DNN)がプライベートデータを扱うことを可能にする。
DNNにおけるReLUのような非線形アクティベーションの使用は、急激なPIレイテンシにつながる可能性がある。
精度と効率の両面においてパリティを維持しつつ,二乗アクティベーションのみを利用する新しいDNNアーキテクチャであるxMLPを提案する。
- 参考スコア（独自算出の注目度）: 27.092753578066294
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Private Inference (PI) enables deep neural networks (DNNs) to work on private
data without leaking sensitive information by exploiting cryptographic
primitives such as multi-party computation (MPC) and homomorphic encryption
(HE). However, the use of non-linear activations such as ReLU in DNNs can lead
to impractically high PI latency in existing PI systems, as ReLU requires the
use of costly MPC computations, such as Garbled Circuits. Since square
activations can be processed by Beaver's triples hundreds of times faster
compared to ReLU, they are more friendly to PI tasks, but using them leads to a
notable drop in model accuracy. This paper starts by exploring the reason for
such an accuracy drop after using square activations, and concludes that this
is due to an "information compounding" effect. Leveraging this insight, we
propose xMLP, a novel DNN architecture that uses square activations exclusively
while maintaining parity in both accuracy and efficiency with ReLU-based DNNs.
Our experiments on CIFAR-100 and ImageNet show that xMLP models consistently
achieve better performance than ResNet models with fewer activation layers and
parameters while maintaining consistent performance with its ReLU-based
variants. Remarkably, when compared to state-of-the-art PI Models, xMLP
demonstrates superior performance, achieving a 0.58% increase in accuracy with
7x faster PI speed. Moreover, it delivers a significant accuracy improvement of
4.96% while maintaining the same PI latency. When offloading PI to the GPU,
xMLP is up to 700x faster than the previous state-of-the-art PI model with
comparable accuracy.
- Abstract（参考訳）: プライベート推論(PI)は、マルチパーティ計算(MPC)や同型暗号化(HE)といった暗号プリミティブを活用することにより、機密情報を漏洩することなく、ディープニューラルネットワーク(DNN)がプライベートデータ上で動作できるようにする。
しかし、DNNでReLUのような非線形のアクティベーションを使用すると、既存のPIシステムでは極端に高いPIレイテンシが生じる可能性がある。
正方形のアクティベーションは、ReLUに比べて数百倍高速なBeaverのトリプルによって処理できるため、PIタスクに親しみやすいが、モデル精度の顕著な低下につながる。
本稿では,2乗アクティベーションを用いた場合の精度低下の原因を探究し,これが情報複合効果によるものであると結論づける。
この知見を生かした新しいDNNアーキテクチャであるxMLPを提案する。これは2乗アクティベーションのみを使用しながら、ReLUベースのDNNの精度と効率を両立させる。
CIFAR-100 と ImageNet で行った実験では,アクティベーション層やパラメータが少ない ResNet モデルよりも連続的に性能が向上し,また ReLU ベースのモデルと一貫した性能を維持した。
注目すべきは、最先端のPIモデルと比較すると、xMLPは優れた性能を示し、精度は0.58%向上し、PI速度は7倍高速である。
さらに、同じPIレイテンシを維持しながら、4.96%の大幅な精度向上を実現している。
GPUにPIをオフロードする場合、xMLPは、同等の精度で以前の最先端のPIモデルよりも700倍高速である。
関連論文リスト
- Efficient Privacy-Preserving Convolutional Spiking Neural Networks with
FHE [1.437446768735628]
ホモモルフィック暗号化(FHE)は、プライバシ保護計算の鍵となる技術である。
FHEは連続非ポリノミカル関数の処理に制限がある。
準同型SNNのためのFHE-DiCSNNというフレームワークを提案する。
FHE-DiCSNNの精度は97.94%で、元のネットワークの精度98.47%に比べて0.53%しか失われていない。
論文 参考訳（メタデータ） (2023-09-16T15:37:18Z) - Reliable Prediction Intervals with Directly Optimized Inductive
Conformal Regression for Deep Learning [3.42658286826597]
予測間隔(PI)は、ディープラーニング回帰における各予測の不確かさの定量化に使用される。
PIの品質向上のための多くのアプローチは、PIの幅を効果的に削減することができるが、実際のラベルが十分に取得されていることを保証しない。
本研究では,損失関数としてPIの平均幅のみを考慮に入れた直接最適化インダクティブ・コンダクティブ・レグレッション(DOICR)を用いる。
ベンチマーク実験により、DOICRは回帰問題に対する現在の最先端アルゴリズムよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-02-02T04:46:14Z) - Selective Network Linearization for Efficient Private Inference [49.937470642033155]
本稿では,予測精度を維持しつつReLUを選択的に線形化する勾配に基づくアルゴリズムを提案する。
その結果、現在の技術よりも4.25%$の精度(so-ReLUは50K)、または2.2times$のレイテンシ(so-accuracyは70%)が低いことがわかった。
論文 参考訳（メタデータ） (2022-02-04T19:00:24Z) - AESPA: Accuracy Preserving Low-degree Polynomial Activation for Fast
Private Inference [1.4878320574640147]
本稿では,ReLUのHermite展開とベースワイド正規化を利用した低次アクティベーション関数(AESPA)の高精度保存手法を提案する。
最先端のDelphi PIプロトコル上の全RELUベースラインに適用すると、AESPAは最大42.1倍、28.3倍のレイテンシと通信コストがかかる。
論文 参考訳（メタデータ） (2022-01-18T02:02:02Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - FasterPose: A Faster Simple Baseline for Human Pose Estimation [65.8413964785972]
本稿では,高速ポーズ推定のためのLR表現を用いた費用対効果ネットワークの設計パラダイムであるFasterPoseを提案する。
我々は,FasterPoseのトレーニング挙動について検討し,収束を加速する新しい回帰クロスエントロピー(RCE)損失関数を定式化する。
従来のポーズ推定ネットワークと比較すると,FLOPの58%が減少し,精度が1.3%向上した。
論文 参考訳（メタデータ） (2021-07-07T13:39:08Z) - Circa: Stochastic ReLUs for Private Deep Learning [6.538025863698682]
我々はReLU計算を再考し、ニューラルネットワークに適したPIの最適化を提案する。
具体的には,ReLUを近似手形テストとして再構成し,手形テストのための新しい切り抜き手法を導入する。
最大4.7倍のストレージと3倍のランタイムをベースライン実装で実現した。
論文 参考訳（メタデータ） (2021-06-15T22:52:45Z) - FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。
現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。
提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文 参考訳（メタデータ） (2021-03-08T03:09:37Z) - Non-Parametric Adaptive Network Pruning [125.4414216272874]
アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。
顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。
EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
論文 参考訳（メタデータ） (2021-01-20T06:18:38Z) - HiPPO: Recurrent Memory with Optimal Polynomial Projections [93.3537706398653]
本稿では,連続信号と離散時系列をベースに投影してオンライン圧縮するための一般フレームワーク(HiPPO)を提案する。
過去の各時間ステップの重要性を示す尺度が与えられた場合、HiPPOは自然なオンライン関数近似問題に対する最適解を生成する。
このフォーマルなフレームワークは、すべての履歴を記憶するために時間をかけてスケールする新しいメモリ更新メカニズム(HiPPO-LegS)を提供する。
論文 参考訳（メタデータ） (2020-08-17T23:39:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。