論文の概要: Enabling Homomorphically Encrypted Inference for Large DNN Models
- arxiv url: http://arxiv.org/abs/2103.16139v1
- Date: Tue, 30 Mar 2021 07:53:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-01 01:23:37.743124
- Title: Enabling Homomorphically Encrypted Inference for Large DNN Models
- Title(参考訳): 大規模DNNモデルに対する同型暗号化推論の実現
- Authors: Guillermo Lloret-Talavera, Marc Jorda, Harald Servat, Fabian Boemer,
Chetan Chauhan, Shigeki Tomishima, Nilesh N. Shah, Antonio J. Pe\~na
- Abstract要約: ホモモルフィック暗号化(HE)は暗号化データを使用した推論を可能にするが、100x--10,000xメモリと実行時のオーバーヘッドが発生する。
HEを用いたセキュアディープニューラルネットワーク(DNN)推論は現在、コンピューティングとメモリリソースによって制限されている。
DRAMと永続メモリからなるハイブリッドメモリシステムの利用可能性を検討する。
- 参考スコア(独自算出の注目度): 1.0679692136113117
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The proliferation of machine learning services in the last few years has
raised data privacy concerns. Homomorphic encryption (HE) enables inference
using encrypted data but it incurs 100x--10,000x memory and runtime overheads.
Secure deep neural network (DNN) inference using HE is currently limited by
computing and memory resources, with frameworks requiring hundreds of gigabytes
of DRAM to evaluate small models. To overcome these limitations, in this paper
we explore the feasibility of leveraging hybrid memory systems comprised of
DRAM and persistent memory. In particular, we explore the recently-released
Intel Optane PMem technology and the Intel HE-Transformer nGraph to run large
neural networks such as MobileNetV2 (in its largest variant) and ResNet-50 for
the first time in the literature. We present an in-depth analysis of the
efficiency of the executions with different hardware and software
configurations. Our results conclude that DNN inference using HE incurs on
friendly access patterns for this memory configuration, yielding efficient
executions.
- Abstract(参考訳): ここ数年で機械学習サービスが急増し、データのプライバシーに関する懸念が高まった。
ホモモルフィック暗号化(HE)は暗号化データを用いた推論を可能にするが、100x--10,000倍のメモリとランタイムオーバーヘッドを発生させる。
HEを使用したセキュアなディープニューラルネットワーク(DNN)推論は現在、コンピューティングとメモリリソースによって制限されており、小さなモデルを評価するために数百ギガバイトのDRAMを必要とするフレームワークがある。
本稿では,これらの制約を克服するために,dramと永続メモリを組み合わせたハイブリッドメモリシステムの実現可能性について検討する。
特に、最近リリースされたIntel Optane PMem技術とIntel HE-Transformer nGraphを探索し、MobileNetV2(最大の変種)やResNet-50といった大規模なニューラルネットワークを文献で初めて動作させる。
本稿では,ハードウェアとソフトウェア構成の異なる実行効率の詳細な分析を行う。
以上の結果から, HEを用いたDNN推論は, このメモリ構成に親しみやすいアクセスパターンに依存し, 効率的な実行を実現する。
関連論文リスト
- SwapNet: Efficient Swapping for DNN Inference on Edge AI Devices Beyond
the Memory Budget [18.63754969602021]
エッジ人工知能(AI)デバイス上のディープニューラルネットワーク(DNN)は、さまざまな自律的なモバイルコンピューティングアプリケーションを可能にする。
モデル圧縮やクラウドオフロードといった既存のソリューションは、DNN推論のメモリフットプリントを減らす。
We developed SwapNet, a efficient block swapping ecosystem for edge AI devices。
論文 参考訳(メタデータ) (2024-01-30T05:29:49Z) - Topology-aware Embedding Memory for Continual Learning on Expanding
Networks [69.21427519408016]
メモリリプレイ技術は、漸進的に蓄積されたユークリッドデータによる継続的な学習において大きな成功を収めている。
しかし、ネットワークの継続的な拡張にそれらを直接適用することは、潜在的なメモリ爆発問題につながる。
我々は、トポロジ-埋め込みメモリ(TEM)を備えた一般フレームワーク、すなわちTEMaware Decoupled Graph Neural Networks(PDGNN)を提案する。
本稿では,TEMを用いたTEMaware PDGNNが最先端技術,特に難易度の高いクラスインクリメンタルセッティングにおいて著しく優れていることを示す。
論文 参考訳(メタデータ) (2024-01-24T03:03:17Z) - Pruning random resistive memory for optimizing analogue AI [54.21621702814583]
AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。
有望な解決策の1つは、アナログコンピューティングを再考することである。
ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
論文 参考訳(メタデータ) (2023-11-13T08:59:01Z) - SmartSAGE: Training Large-scale Graph Neural Networks using In-Storage
Processing Architectures [0.7792020418343023]
グラフニューラルネットワーク(GNN)は、各オブジェクト(グラフノード)の表現と、異なるオブジェクト間の関係の両方を学ぶことによって、特徴を抽出することができる。
その強みにもかかわらず、これらのアルゴリズムを本番環境で利用することは、グラフノードとエッジの数が数十億から数十億の規模になるため、いくつかの課題に直面します。
本研究では,現在最先端の大規模GNN学習アルゴリズムであるGraphAGESの詳細な特徴付けを行う。
キャパシティ最適化NVMを用いたストレージの実現可能性について検討する。
論文 参考訳(メタデータ) (2022-05-10T07:25:30Z) - MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [70.29404271727155]
メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。
本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。
ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
論文 参考訳(メタデータ) (2021-10-28T17:58:45Z) - Towards Memory-Efficient Neural Networks via Multi-Level in situ
Generation [10.563649948220371]
ディープニューラルネットワーク(DNN)は、様々なタスクにおいて優れたパフォーマンスを示している。
それらが急速に進化するにつれて、そのエスカレーション計算とメモリ要求により、リソースに制約のあるエッジデバイスへのデプロイが困難になる。
超高速なオンチップ計算で高価なメモリトランザクションを交換するための汎用的で統一的なフレームワークを提案する。
論文 参考訳(メタデータ) (2021-08-25T18:50:24Z) - Efficiency-driven Hardware Optimization for Adversarially Robust Neural
Networks [3.125321230840342]
効率性の高いハードウェア最適化を通じて、Deep Neural Networks(DNN)の対比ロバスト性に対処する方法に焦点を当てます。
そのようなアプローチの1つは、低電力運転をもたらす供給スケーリング(Vdd)を可能にするハイブリッド6T-8TセルによるおよそのデジタルCMOSメモリです。
別のメモリ最適化アプローチは、低エネルギーと面積の要件でマトリックス乗算(MVM)を効率的に実行する記念的なクロスバーの作成を含む。
論文 参考訳(メタデータ) (2021-05-09T19:26:25Z) - PIM-DRAM:Accelerating Machine Learning Workloads using Processing in
Memory based on DRAM Technology [2.6168147530506958]
MLワークロードにおける行列ベクトル演算を高速化する処理インメモリ(PIM)プリミティブを提案する。
提案したアーキテクチャ,マッピング,データフローは,GPUよりも最大で23倍,6.5倍のメリットが得られることを示す。
論文 参考訳(メタデータ) (2021-05-08T16:39:24Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳(メタデータ) (2020-12-31T18:48:58Z) - Towards Real-Time DNN Inference on Mobile Platforms with Model Pruning
and Compiler Optimization [56.3111706960878]
ハイエンドなモバイルプラットフォームは、幅広いDeep Neural Network (DNN)アプリケーションのための主要なコンピューティングデバイスとして機能する。
これらのデバイス上の制約付き計算とストレージリソースは、リアルタイムの推論実行に重大な課題をもたらす。
モバイル端末上でのDNN実行を高速化するハードウェアフレンドリーな構造化モデルプルーニングとコンパイラ最適化手法を提案する。
論文 参考訳(メタデータ) (2020-04-22T03:18:23Z) - PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with
Pattern-based Weight Pruning [57.20262984116752]
粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。
きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
論文 参考訳(メタデータ) (2020-01-01T04:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。