論文の概要: Compact: Approximating Complex Activation Functions for Secure Computation
- arxiv url: http://arxiv.org/abs/2309.04664v2
- Date: Sun, 17 Mar 2024 07:23:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 04:02:28.573144
- Title: Compact: Approximating Complex Activation Functions for Secure Computation
- Title（参考訳）: Compact: セキュア計算のための複雑なアクティベーション関数の近似
- Authors: Mazharul Islam, Sunpreet S. Arora, Rahul Chatterjee, Peter Rindal, Maliheh Shirvanian,
- Abstract要約: Compactは、最先端のMPC技術で効率的な使用を可能にするために、複雑なAFのピースワイズ近似を生成する。
隠れ層が多いDNNモデルに対して,2x-5倍の精度で非無視精度の損失を生じさせることを示す。
- 参考スコア（独自算出の注目度）: 15.801954240019176
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Secure multi-party computation (MPC) techniques can be used to provide data privacy when users query deep neural network (DNN) models hosted on a public cloud. State-of-the-art MPC techniques can be directly leveraged for DNN models that use simple activation functions such as ReLU. However, these techniques are ineffective and/or inefficient for the complex and highly non-linear activation functions used in cutting-edge DNN models. We present Compact, which produces piece-wise polynomial approximations of complex AFs to enable their efficient use with state-of-the-art MPC techniques. Compact neither requires nor imposes any restriction on model training and results in near-identical model accuracy. To achieve this, we design Compact with input density awareness and use an application-specific simulated annealing type optimization to generate computationally more efficient approximations of complex AFs. We extensively evaluate Compact on four different machine-learning tasks with DNN architectures that use popular complex AFs silu, gelu, and mish. Our experimental results show that Compact incurs negligible accuracy loss while being 2x-5x computationally more efficient than state-of-the-art approaches for DNN models with large number of hidden layers. Our work accelerates easy adoption of MPC techniques to provide user data privacy even when the queried DNN models consist of a number of hidden layers and trained over complex AFs.
- Abstract（参考訳）: パブリッククラウドにホストされているディープニューラルネットワーク(DNN)モデルに問い合わせる場合、セキュアなマルチパーティ計算(MPC)技術を使用してデータのプライバシを提供することができる。
最先端のMPC技術は、ReLUのような単純なアクティベーション関数を使用するDNNモデルに直接利用することができる。
しかし、これらの手法は、最先端DNNモデルで使用される複雑で非線形な活性化関数に対して非効率かつ/または非効率である。
本稿では,複雑な AF の多項式近似を部品的に生成し,最先端の MPC 技術で効率的に利用できるようにする。
コンパクトはモデルトレーニングにいかなる制限も必要とせず、ほぼ同一のモデルの精度をもたらす。
そこで我々は,入力密度を意識したCompactを設計し,アプリケーション固有のアニール型最適化を用いて複雑なAFのより効率的な近似を生成する。
我々は,DNNアーキテクチャを用いた4種類の機械学習タスクにおいて,コンプレックスを広範に評価した。
実験結果から,多くの隠れ層を有するDNNモデルに対して,コンプレックスは2x-5倍の計算効率を保ちながら,無視可能な精度損失を生じさせることが示された。
我々の作業は、クエリされたDNNモデルが複数の隠れレイヤで構成され、複雑なAFでトレーニングされた場合でも、ユーザデータプライバシを提供するために、簡単にMPC技術を採用することを加速します。
関連論文リスト
- Advancing IIoT with Over-the-Air Federated Learning: The Role of Iterative Magnitude Pruning [14.818439341517733]
産業用IoT(Industrial Internet of Things, IIoT)は、産業用4.0で、相互接続型スマートデバイスの時代を象徴している。
FL(Federated Learning)は、デバイス間のデータプライバシとセキュリティに対処する。
FLは、機密データを明示的に共有することなく、エッジセンサーがデータをローカルで学習し、適応することを可能にする。
論文 参考訳（メタデータ） (2024-03-21T04:15:56Z) - LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。
本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-26T05:23:11Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Combining Multi-Objective Bayesian Optimization with Reinforcement Learning for TinyML [4.2019872499238256]
マルチオブジェクトベイズ最適化(MOBOpt)に基づくマイクロコントローラ(TinyML)にディープニューラルネットワークをデプロイするための新しい戦略を提案する。
本手法は,DNNの予測精度,メモリ消費量,計算複雑性のトレードオフを効率的に検出することを目的としている。
論文 参考訳（メタデータ） (2023-05-23T14:31:52Z) - DepthShrinker: A New Compression Paradigm Towards Boosting Real-Hardware
Efficiency of Compact Neural Networks [29.46621102184345]
ハードウェアフレンドリーなコンパクトネットワークを開発するために,DepthShrinkerというフレームワークを提案する。
我々のフレームワークは、最先端のDNNや圧縮技術より優れたハードウェアフレンドリーなコンパクトネットワークを提供する。
論文 参考訳（メタデータ） (2022-06-02T02:32:47Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳（メタデータ） (2021-06-15T17:22:59Z) - NL-CNN: A Resources-Constrained Deep Learning Model based on Nonlinear
Convolution [0.0]
NL-CNNと略される新しい畳み込みニューラルネットワークモデルが提案され、非線型畳み込みは畳み込み+非線形性層のカスケードでエミュレートされる。
いくつかの広く知られているデータセットのパフォーマンス評価が提供され、いくつかの関連する特徴を示している。
論文 参考訳（メタデータ） (2021-01-30T13:38:42Z) - PERMDNN: Efficient Compressed DNN Architecture with Permuted Diagonal
Matrices [35.90103072918056]
ディープニューラルネットワーク(DNN)は、最も重要で人気のある人工知能(AI)技術として登場した。
モデルサイズの成長は、基盤となるコンピューティングプラットフォームにとって重要なエネルギー効率の課題である。
本稿では、ハードウェアフレンドリーな構造化DNNモデルの生成と実行のための新しいアプローチであるPermDNNを提案する。
論文 参考訳（メタデータ） (2020-04-23T02:26:40Z) - Evolving Normalization-Activation Layers [100.82879448303805]
我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。
EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。
我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
論文 参考訳（メタデータ） (2020-04-06T19:52:48Z) - An Image Enhancing Pattern-based Sparsity for Real-time Inference on
Mobile Devices [58.62801151916888]
パターンと接続性を組み合わせた新しい空間空間,すなわちパターンベースの空間空間を導入し,高度に正確かつハードウェアに親しみやすいものにした。
新たなパターンベースの空間性に対する我々のアプローチは,モバイルプラットフォーム上での高効率DNN実行のためのコンパイラ最適化に自然に適合する。
論文 参考訳（メタデータ） (2020-01-20T16:17:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。