論文の概要: Linearizing Models for Efficient yet Robust Private Inference
- arxiv url: http://arxiv.org/abs/2402.05521v1
- Date: Thu, 8 Feb 2024 10:01:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 15:56:21.241729
- Title: Linearizing Models for Efficient yet Robust Private Inference
- Title（参考訳）: 効率的かつロバストなプライベート推論のための線形化モデル
- Authors: Sreetama Sarkar, Souvik Kundu, Peter A. Beerel
- Abstract要約: 本稿では,RLNetを提案する。RLNetは,高遅延ReLU演算の低減による遅延改善を実現する,堅牢な線形化ネットワークのクラスである。
RLNetは、全ReLUモデルに近い精度で最大11.14倍のReLUで、クリーン、自然摂動、勾配に基づく摂動画像が得られることを示す。
- 参考スコア（独自算出の注目度）: 8.547509873799994
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The growing concern about data privacy has led to the development of private
inference (PI) frameworks in client-server applications which protects both
data privacy and model IP. However, the cryptographic primitives required yield
significant latency overhead which limits its wide-spread application. At the
same time, changing environments demand the PI service to be robust against
various naturally occurring and gradient-based perturbations. Despite several
works focused on the development of latency-efficient models suitable for PI,
the impact of these models on robustness has remained unexplored. Towards this
goal, this paper presents RLNet, a class of robust linearized networks that can
yield latency improvement via reduction of high-latency ReLU operations while
improving the model performance on both clean and corrupted images. In
particular, RLNet models provide a "triple win ticket" of improved
classification accuracy on clean, naturally perturbed, and gradient-based
perturbed images using a shared-mask shared-weight architecture with over an
order of magnitude fewer ReLUs than baseline models. To demonstrate the
efficacy of RLNet, we perform extensive experiments with ResNet and WRN model
variants on CIFAR-10, CIFAR-100, and Tiny-ImageNet datasets. Our experimental
evaluations show that RLNet can yield models with up to 11.14x fewer ReLUs,
with accuracy close to the all-ReLU models, on clean, naturally perturbed, and
gradient-based perturbed images. Compared with the SoTA non-robust linearized
models at similar ReLU budgets, RLNet achieves an improvement in adversarial
accuracy of up to ~47%, naturally perturbed accuracy up to ~16.4%, while
improving clean image accuracy up to ~1.5%.
- Abstract（参考訳）: データプライバシに関する懸念が高まり、データプライバシとモデルIPの両方を保護するクライアントサーバアプリケーションにおけるプライベート推論(PI)フレームワークの開発につながった。
しかし、暗号プリミティブは、その広範なアプリケーションを制限する大きな遅延オーバーヘッドをもたらす必要がある。
同時に、環境の変化は、PIサービスが様々な自然発生および勾配に基づく摂動に対して堅牢であることを要求する。
piに適したレイテンシー効率のモデルの開発に焦点を当てたいくつかの研究にもかかわらず、これらのモデルが堅牢性に与える影響は未検討のままである。
本稿では,高遅延relu操作の削減と,クリーン画像と破損画像の両方のモデル性能の向上によるレイテンシ向上を実現する,堅牢な線形ネットワークのクラスであるrlnetを提案する。
特に、RLNetモデルは、ベースラインモデルよりも桁違いにReLUが少ない共有マスク共有重み付きアーキテクチャを用いて、クリーンで自然に乱れ、勾配に基づく摂動画像の分類精度を改善する「トリプル・ウィン・チケット」を提供する。
RLNetの有効性を示すため、CIFAR-10, CIFAR-100, Tiny-ImageNetデータセット上でResNetおよびWRNモデル変異体を用いた広範囲な実験を行った。
実験により、RLNetは11.14倍のReLUを生成でき、全ReLUモデルに近い精度で、クリーン、自然摂動、勾配に基づく摂動画像が得られることが示された。
同様のReLU予算でのSoTA非破壊線形化モデルと比較すると、RLNetは対角精度を最大47%改善し、自然な摂動精度を最大16.4%向上させ、クリーンな画像精度を最大1.5%向上させた。
関連論文リスト
- Dynamic Pre-training: Towards Efficient and Scalable All-in-One Image Restoration [100.54419875604721]
オールインワン画像復元は、各分解に対してタスク固有の非ジェネリックモデルを持たずに、統一されたモデルで異なるタイプの劣化に対処する。
我々は、オールインワン画像復元タスクのためのエンコーダデコーダ方式で設計されたネットワークの動的ファミリであるDyNetを提案する。
我々のDyNetは、よりバルク化と軽量化をシームレスに切り替えることができるので、効率的なモデルデプロイメントのための柔軟性を提供します。
論文 参考訳（メタデータ） (2024-04-02T17:58:49Z) - Learning from History: Task-agnostic Model Contrastive Learning for
Image Restoration [79.04007257606862]
本稿では,対象モデル自体から負のサンプルを動的に生成する「歴史からの学習」という革新的な手法を提案する。
我々のアプローチはMCLIR(Model Contrastive Learning for Image Restoration)と呼ばれ、遅延モデルを負のモデルとして再定義し、多様な画像復元タスクと互換性を持たせる。
論文 参考訳（メタデータ） (2023-09-12T07:50:54Z) - Efficient Backdoor Removal Through Natural Gradient Fine-tuning [4.753323975780736]
最近のバックドア攻撃は、敵がそのようなトレーニングの詳細を活用でき、ディープニューラルネットワーク(DNN)の完全性を損なうことを示唆している。
我々の研究では、バックドアモデルは通常、悪い局所的なミニマ、すなわち良質なモデルよりもシャープなミニマに最適化されていることが示されている。
本研究では,1層のみを微調整することによってバックドアを除去することに焦点を当てた,新しいバックドア技術であるNatural Gradient Fine-tuning(NGF)を提案する。
論文 参考訳（メタデータ） (2023-06-30T07:25:38Z) - Precision-Recall Divergence Optimization for Generative Modeling with
GANs and Normalizing Flows [54.050498411883495]
本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。
指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。
当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
論文 参考訳（メタデータ） (2023-05-30T10:07:17Z) - Making Models Shallow Again: Jointly Learning to Reduce Non-Linearity
and Depth for Latency-Efficient Private Inference [6.141267142478346]
本稿では,モデルの浅さを学習するためのモデル最適化手法を提案する。
畳み込みブロックのReLU感度を利用して、ReLU層を除去し、それに続く畳み込み層と先行する畳み込み層を浅いブロックにマージする。
論文 参考訳（メタデータ） (2023-04-26T04:23:34Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳（メタデータ） (2023-03-16T21:06:13Z) - Learning to Linearize Deep Neural Networks for Secure and Efficient
Private Inference [5.293553970082942]
既存のReLU操作を減らす技術は、しばしば手作業と精度を犠牲にする。
まず、非線形層のReLU感度の新たな尺度を示し、時間を要する手作業の軽減を可能にする。
次に、レイヤごとのReLU数を自動割り当てし、各レイヤのアクティベーションマップのReLU位置を決定し、ReLUをはるかに少ないモデルでトレーニングする3段階トレーニング手法SENetを提案する。
論文 参考訳（メタデータ） (2023-01-23T03:33:38Z) - SmoothNets: Optimizing CNN architecture design for differentially
private deep learning [69.10072367807095]
DPSGDは、サンプルごとの勾配の切り抜きとノイズ付けを必要とする。
これにより、非プライベートトレーニングと比較してモデルユーティリティが削減される。
SmoothNetと呼ばれる新しいモデルアーキテクチャを蒸留し,DP-SGDトレーニングの課題に対するロバスト性の向上を特徴とした。
論文 参考訳（メタデータ） (2022-05-09T07:51:54Z) - Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。
実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文 参考訳（メタデータ） (2021-06-18T01:03:13Z) - Fully Dynamic Inference with Deep Neural Networks [19.833242253397206]
Layer-Net(L-Net)とChannel-Net(C-Net)と呼ばれる2つのコンパクトネットワークは、どのレイヤやフィルタ/チャネルが冗長であるかをインスタンス毎に予測する。
CIFAR-10データセットでは、LC-Netは11.9$times$ less floating-point Operations (FLOPs) となり、他の動的推論手法と比較して最大3.3%精度が向上する。
ImageNetデータセットでは、LC-Netは最大1.4$times$ FLOPsを減らし、Top-1の精度は他の方法よりも4.6%高い。
論文 参考訳（メタデータ） (2020-07-29T23:17:48Z) - EMPIR: Ensembles of Mixed Precision Deep Networks for Increased
Robustness against Adversarial Attacks [18.241639570479563]
ディープニューラルネットワーク(DNN)は、小さな入力摂動が破滅的な誤分類を生じさせる敵の攻撃に対して脆弱である。
敵攻撃に対するロバスト性を高めるための新しいアプローチとして,異なる数値精度を持つ量子化DNNモデルのアンサンブルであるEMPIRを提案する。
EMPIRは、MNIST、CIFAR-10、ImageNetデータセットでトレーニングされたDNNモデルに対して、平均対向精度を42.6%、15.2%、10.5%向上させることを示す。
論文 参考訳（メタデータ） (2020-04-21T17:17:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。