Fugu-MT 論文翻訳(概要): Learning to Linearize Deep Neural Networks for Secure and Efficient Private Inference

論文の概要: Learning to Linearize Deep Neural Networks for Secure and Efficient Private Inference

arxiv url: http://arxiv.org/abs/2301.09254v1
Date: Mon, 23 Jan 2023 03:33:38 GMT
ステータス: 処理完了
システム内更新日: 2023-01-24 14:22:22.101559
Title: Learning to Linearize Deep Neural Networks for Secure and Efficient Private Inference
Title（参考訳）: セキュアで効率的なプライベート推論のためのディープニューラルネットワークの線形化学習
Authors: Souvik Kundu, Shunlin Lu, Yuke Zhang, Jacqueline Liu, Peter A. Beerel
Abstract要約: 既存のReLU操作を減らす技術は、しばしば手作業と精度を犠牲にする。まず、非線形層のReLU感度の新たな尺度を示し、時間を要する手作業の軽減を可能にする。次に、レイヤごとのReLU数を自動割り当てし、各レイヤのアクティベーションマップのReLU位置を決定し、ReLUをはるかに少ないモデルでトレーニングする3段階トレーニング手法SENetを提案する。
参考スコア（独自算出の注目度）: 5.293553970082942
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The large number of ReLU non-linearity operations in existing deep neural networks makes them ill-suited for latency-efficient private inference (PI). Existing techniques to reduce ReLU operations often involve manual effort and sacrifice significant accuracy. In this paper, we first present a novel measure of non-linearity layers' ReLU sensitivity, enabling mitigation of the time-consuming manual efforts in identifying the same. Based on this sensitivity, we then present SENet, a three-stage training method that for a given ReLU budget, automatically assigns per-layer ReLU counts, decides the ReLU locations for each layer's activation map, and trains a model with significantly fewer ReLUs to potentially yield latency and communication efficient PI. Experimental evaluations with multiple models on various datasets show SENet's superior performance both in terms of reduced ReLUs and improved classification accuracy compared to existing alternatives. In particular, SENet can yield models that require up to ~2x fewer ReLUs while yielding similar accuracy. For a similar ReLU budget SENet can yield models with ~2.32% improved classification accuracy, evaluated on CIFAR-100.
Abstract（参考訳）: 既存のディープニューラルネットワークにおける多数のReLU非線形演算は、レイテンシ効率の良いプライベート推論(PI)に不適である。既存のReLU操作を減らす技術は、しばしば手作業とかなりの精度を犠牲にする。本稿では,まず非線形層のrelu感度を計測し,その同定に要する時間的作業の軽減を図る。この感度に基づいて、所定のReLU予算に対して、各レイヤ毎のReLUカウントを自動的に割り当て、各レイヤのアクティベーションマップのReLUロケーションを決定し、非常に少ないReLUでモデルをトレーニングし、レイテンシと通信効率のよいPIを出力する3段階のトレーニング手法であるSENetを提案する。各種データセット上での複数のモデルによる実験評価では,ReLUの削減と,既存の代替モデルと比較して分類精度の向上がSENetの優れた性能を示している。特にSENetは、同じ精度で、最大で2倍のReLUを必要とするモデルを生成することができる。同様のReLU予算のために、SENetはCIFAR-100で評価された分類精度を約2.32%改善したモデルが得られる。

関連論文リスト

Linearizing Models for Efficient yet Robust Private Inference [8.547509873799994]
本稿では,RLNetを提案する。RLNetは,高遅延ReLU演算の低減による遅延改善を実現する,堅牢な線形化ネットワークのクラスである。 RLNetは、全ReLUモデルに近い精度で最大11.14倍のReLUで、クリーン、自然摂動、勾配に基づく摂動画像が得られることを示す。
論文参考訳（メタデータ） (2024-02-08T10:01:29Z)
Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文参考訳（メタデータ） (2023-09-26T17:42:52Z)
Accelerating Deep Neural Networks via Semi-Structured Activation Sparsity [0.0]
ネットワークの機能マップにスパシティを爆発させることは、推論のレイテンシを低減する方法の1つです。そこで本研究では,セミ構造化されたアクティベーション空間を小さなランタイム修正によって活用する手法を提案する。当社のアプローチでは,ImageNetデータセット上のResNet18モデルに対して,最小精度が1.1%の1.25倍の速度向上を実現している。
論文参考訳（メタデータ） (2023-09-12T22:28:53Z)
Making Models Shallow Again: Jointly Learning to Reduce Non-Linearity and Depth for Latency-Efficient Private Inference [6.141267142478346]
本稿では,モデルの浅さを学習するためのモデル最適化手法を提案する。畳み込みブロックのReLU感度を利用して、ReLU層を除去し、それに続く畳み込み層と先行する畳み込み層を浅いブロックにマージする。
論文参考訳（メタデータ） (2023-04-26T04:23:34Z)
Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文参考訳（メタデータ） (2023-03-16T21:06:13Z)
A Hybrid Deep Learning Model-based Remaining Useful Life Estimation for Reed Relay with Degradation Pattern Clustering [12.631122036403864]
リードリレーは機能テストの基本的な構成要素であり、電子機器の品質検査の成功と密接に関係している。リードリレーの有効寿命(RUL)を正確に推定するために,劣化パターンクラスタリングを用いたハイブリッドディープラーニングネットワークを提案する。
論文参考訳（メタデータ） (2022-09-14T05:45:46Z)
Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文参考訳（メタデータ） (2022-06-15T05:48:51Z)
FasterPose: A Faster Simple Baseline for Human Pose Estimation [65.8413964785972]
本稿では,高速ポーズ推定のためのLR表現を用いた費用対効果ネットワークの設計パラダイムであるFasterPoseを提案する。我々は,FasterPoseのトレーニング挙動について検討し,収束を加速する新しい回帰クロスエントロピー(RCE)損失関数を定式化する。従来のポーズ推定ネットワークと比較すると,FLOPの58%が減少し,精度が1.3%向上した。
論文参考訳（メタデータ） (2021-07-07T13:39:08Z)
Neural Pruning via Growing Regularization [82.9322109208353]
プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
論文参考訳（メタデータ） (2020-12-16T20:16:28Z)
Parametric Flatten-T Swish: An Adaptive Non-linear Activation Function For Deep Learning [0.0]
Rectified Linear Unit (ReLU)は、ディープラーニングコミュニティでもっとも人気のあるアクティベーション機能である。本稿では,ReLUの代替としてParametric Flatten-T Swish(PFTS)を紹介する。 PFTSはトレーニング中に高い非線形近似能力を示し、ネットワークの予測性能を改善した。
論文参考訳（メタデータ） (2020-11-06T01:50:46Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。