論文の概要: Artemis: HE-Aware Training for Efficient Privacy-Preserving Machine
Learning
- arxiv url: http://arxiv.org/abs/2310.01664v1
- Date: Mon, 2 Oct 2023 21:53:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 18:39:52.258365
- Title: Artemis: HE-Aware Training for Efficient Privacy-Preserving Machine
Learning
- Title(参考訳): Artemis: 効果的なプライバシ保護機械学習のためのHE対応トレーニング
- Authors: Yeonsoo Jeon, Mattan Erez, Michael Orshansky
- Abstract要約: 本稿では,HEに基づく推論のための高効率プルーニング手法であるArtemisを提案する。
アルテミスは従来のHE指向プルーニングの改善を図り、現代の畳み込みモデルをターゲットにすると1.2~6倍の改善を達成できることを示す。
- 参考スコア(独自算出の注目度): 1.009592231387013
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Privacy-Preserving ML (PPML) based on Homomorphic Encryption (HE) is a
promising foundational privacy technology. Making it more practical requires
lowering its computational cost, especially, in handling modern large deep
neural networks. Model compression via pruning is highly effective in
conventional plaintext ML but cannot be effectively applied to HE-PPML as is.
We propose Artemis, a highly effective DNN pruning technique for HE-based
inference. We judiciously investigate two HE-aware pruning strategies
(positional and diagonal) to reduce the number of Rotation operations, which
dominate compute time in HE convolution. We find that Pareto-optimal solutions
are based fully on diagonal pruning. Artemis' benefits come from coupling DNN
training, driven by a novel group Lasso regularization objective, with pruning
to maximize HE-specific cost reduction (dominated by the Rotation operations).
We show that Artemis improves on prior HE-oriented pruning and can achieve a
1.2-6x improvement when targeting modern convolutional models (ResNet18 and
ResNet18) across three datasets.
- Abstract(参考訳): ホモモルフィック暗号化(HE)に基づくプライバシ保護ML(PPML)は,将来性のある基本プライバシ技術である。
より実用的なものにするには、特に現代の大規模深層ニューラルネットワークを扱う際に計算コストを下げる必要がある。
プルーニングによるモデル圧縮は,従来の平文MLでは極めて有効であるが,HE-PPMLには適用できない。
HEに基づく推論のための高効率DNNプルーニング手法であるArtemisを提案する。
畳み込みにおける計算時間を支配する回転操作数を減らすため,2つの平滑な刈り込み戦略(位置的および対角的)を調査した。
パレート最適解は完全に対角的プルーニングに基づいていることが分かる。
アルテミスの利点は、新しいグループのラッソ正規化目標によって駆動されるDNNトレーニングと、HE固有のコスト削減(回転操作によって支配される)を最大化するプルーニングとの結合にある。
その結果,artemisは3つのデータセットにまたがる現代的な畳み込みモデル(resnet18とresnet18)をターゲットとして1.2~6倍改善できることが分かった。
関連論文リスト
- Efficient Second-Order Neural Network Optimization via Adaptive Trust Region Methods [0.0]
SecondOrderAdaptive (SOAA) は、従来の二階法の限界を克服するために設計された新しい最適化アルゴリズムである。
私たちは、SOAAが1次近似よりも速く、より安定した収束を達成することを実証的に実証します。
論文 参考訳(メタデータ) (2024-10-03T08:23:06Z) - Multiobjective Vehicle Routing Optimization with Time Windows: A Hybrid Approach Using Deep Reinforcement Learning and NSGA-II [52.083337333478674]
本稿では、時間窓を用いた多目的車両ルーティング問題(MOVRPTW)に対処するために、ウェイト・アウェア・ディープ・強化学習(WADRL)手法を提案する。
WADRLの結果を最適化するために非支配的ソート遺伝的アルゴリズム-II (NSGA-II) 法を用いる。
論文 参考訳(メタデータ) (2024-07-18T02:46:06Z) - Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。
我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。
A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
論文 参考訳(メタデータ) (2024-06-15T09:31:03Z) - DeepZero: Scaling up Zeroth-Order Optimization for Deep Model Training [33.11416096294998]
ゼロオーダー(ZO)最適化は、機械学習(ML)問題を解決する一般的なテクニックとなっている。
ディープニューラルネットワーク(DNN)のトレーニングにおけるZO最適化の有効性を、パフォーマンスを著しく低下させることなく実証した以前の研究はない。
我々は,ZO最適化をDNNトレーニングにスクラッチから拡張可能なZOディープラーニング(DL)フレームワークであるDeepZeroを開発した。
論文 参考訳(メタデータ) (2023-10-03T13:05:36Z) - Accelerating Deep Neural Networks via Semi-Structured Activation
Sparsity [0.0]
ネットワークの機能マップにスパシティを爆発させることは、推論のレイテンシを低減する方法の1つです。
そこで本研究では,セミ構造化されたアクティベーション空間を小さなランタイム修正によって活用する手法を提案する。
当社のアプローチでは,ImageNetデータセット上のResNet18モデルに対して,最小精度が1.1%の1.25倍の速度向上を実現している。
論文 参考訳(メタデータ) (2023-09-12T22:28:53Z) - Structured Pruning of Neural Networks for Constraints Learning [5.689013857168641]
MIPへの統合に先立って,これらの手法の1つであるプルーニングの有効性を示す。
我々は、複数の層を持つフィードフォワードニューラルネットワークを用いて実験を行い、敵の例を構築した。
以上の結果から,プルーニングは最終決定の質を損なうことなく,解時間を大幅に短縮することを示した。
論文 参考訳(メタデータ) (2023-07-14T16:36:49Z) - Advancing Model Pruning via Bi-level Optimization [89.88761425199598]
イテレーティブ・マグニチュード・プルーニング(IMP)は,「入賞券」の発見に成功するプルーニング法である
ワンショットプルーニング法が開発されているが、これらのスキームは通常IMPほど勝利のチケットを見つけることができない。
提案手法は,双線形問題構造を持つBLO問題の特別なクラスであることを示す。
論文 参考訳(メタデータ) (2022-10-08T19:19:29Z) - Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。
計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。
また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文 参考訳(メタデータ) (2022-03-23T06:24:31Z) - Neural Pruning via Growing Regularization [82.9322109208353]
プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。
具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。
提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
論文 参考訳(メタデータ) (2020-12-16T20:16:28Z) - A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration
Framework [56.57225686288006]
モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。
従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。
プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-13T23:52:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。