論文の概要: Memory-Efficient and Secure DNN Inference on TrustZone-enabled Consumer IoT Devices
- arxiv url: http://arxiv.org/abs/2403.12568v1
- Date: Tue, 19 Mar 2024 09:22:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 14:43:03.118735
- Title: Memory-Efficient and Secure DNN Inference on TrustZone-enabled Consumer IoT Devices
- Title（参考訳）: TrustZone対応IoTデバイス上でのメモリ効率とセキュアDNN推論
- Authors: Xueshuo Xie, Haoxu Wang, Zhaolong Jian, Tao Li, Wei Wang, Zhiwei Xu, Guiling Wang,
- Abstract要約: エッジインテリジェンスにより、元のデータを転送することなく、リソース要求のDeep Neural Network(DNN)推論が可能になる。
プライバシに敏感なアプリケーションでは、ハードウェアアイソレーションされた信頼できる実行環境(TEE)にモデルをデプロイすることが不可欠である。
我々は,モデル推論における包括的プライバシ保護を保証するため,TrustZoneにおける高度なモデル展開のための新しいアプローチを提案する。
- 参考スコア（独自算出の注目度）: 9.928745904761358
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Edge intelligence enables resource-demanding Deep Neural Network (DNN) inference without transferring original data, addressing concerns about data privacy in consumer Internet of Things (IoT) devices. For privacy-sensitive applications, deploying models in hardware-isolated trusted execution environments (TEEs) becomes essential. However, the limited secure memory in TEEs poses challenges for deploying DNN inference, and alternative techniques like model partitioning and offloading introduce performance degradation and security issues. In this paper, we present a novel approach for advanced model deployment in TrustZone that ensures comprehensive privacy preservation during model inference. We design a memory-efficient management method to support memory-demanding inference in TEEs. By adjusting the memory priority, we effectively mitigate memory leakage risks and memory overlap conflicts, resulting in 32 lines of code alterations in the trusted operating system. Additionally, we leverage two tiny libraries: S-Tinylib (2,538 LoCs), a tiny deep learning library, and Tinylibm (827 LoCs), a tiny math library, to support efficient inference in TEEs. We implemented a prototype on Raspberry Pi 3B+ and evaluated it using three well-known lightweight DNN models. The experimental results demonstrate that our design significantly improves inference speed by 3.13 times and reduces power consumption by over 66.5% compared to non-memory optimization method in TEEs.
- Abstract（参考訳）: エッジインテリジェンスは、リソース要求のDeep Neural Network(DNN)推論を、元のデータを転送することなく実現し、IoT(Consumer Internet of Things)デバイスにおけるデータのプライバシに関する懸念に対処する。
プライバシに敏感なアプリケーションでは、ハードウェアアイソレーションされた信頼できる実行環境(TEE)にモデルをデプロイすることが不可欠である。
しかし、TEEの限られたセキュアメモリは、DNN推論のデプロイに課題をもたらし、モデルのパーティショニングやオフロードといった代替技術は、パフォーマンスの低下とセキュリティの問題をもたらす。
本稿では,モデル推論における包括的プライバシ保護を実現するため,TrustZoneにおける高度なモデル展開のための新しいアプローチを提案する。
我々は,TEEにおけるメモリ要求推論を支援するためのメモリ効率管理手法を設計する。
メモリの優先度を調整することで、メモリリークリスクとメモリオーバーラップの競合を効果的に軽減し、信頼されたオペレーティングシステムで32行のコード変更を行う。
さらに、小さなディープラーニングライブラリであるS-Tinylib(2,538 LoCs)と、小さな数学ライブラリであるTinylibm(827 LoCs)という2つの小さなライブラリを活用して、TEEの効率的な推論をサポートしています。
Raspberry Pi 3B+のプロトタイプを実装し,3種類の軽量DNNモデルを用いて評価した。
実験の結果,TEEにおける非メモリ最適化手法と比較して,提案手法は推論速度を3.13倍改善し,消費電力を66.5%以上削減することがわかった。
関連論文リスト
- Contractive error feedback for gradient compression [60.05809370598166]
本稿では,ConEF(Contractive error feedback)と呼ばれる通信効率のよい手法を提案する。
メモリを効率よく管理しないエラーフィードバック(EFSGD)を持つSGDとは対照的に、ConEFはコンバージェンスとメモリ使用率のスイートスポットを取得する。
我々は、画像分類、言語モデリング、機械翻訳を含む様々な学習タスクにおいて、ConEFを実証的に検証する。
論文 参考訳（メタデータ） (2023-12-13T21:54:21Z) - MirrorNet: A TEE-Friendly Framework for Secure On-device DNN Inference [14.08010398777227]
ディープニューラルネットワーク(DNN)モデルは、リアルタイム推論のためのエッジデバイスで普及している。
既存の防御アプローチでは、モデルの機密性を完全に保護できないか、あるいは重大なレイテンシの問題が発生する。
本稿では、モデル機密性を保護するため、任意のDNNモデルに対してTEEフレンドリーな実装を生成するMirrorNetを提案する。
評価のために、MirrorNetは認証と違法使用の間に18.6%の精度差を達成でき、ハードウェアオーバーヘッドは0.99%に過ぎなかった。
論文 参考訳（メタデータ） (2023-11-16T01:21:19Z) - EcoTTA: Memory-Efficient Continual Test-time Adaptation via
Self-distilled Regularization [71.70414291057332]
TTAは主にメモリ制限のあるエッジデバイス上で実行される。
長期的な適応は、しばしば破滅的な忘れとエラーの蓄積につながる。
本稿では,凍結したオリジナルネットワークを対象ドメインに適応させる軽量なメタネットワークを提案する。
論文 参考訳（メタデータ） (2023-03-03T13:05:30Z) - RL-DistPrivacy: Privacy-Aware Distributed Deep Inference for low latency
IoT systems [41.1371349978643]
本稿では,流通戦略の再考を通じて協調的深層推論の安全性を目標とするアプローチを提案する。
我々は、この手法を最適化として定式化し、コ推論のレイテンシとプライバシーレベルのデータのトレードオフを確立する。
論文 参考訳（メタデータ） (2022-08-27T14:50:00Z) - MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。
本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。
ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
論文 参考訳（メタデータ） (2021-10-28T17:58:45Z) - Generative Optimization Networks for Memory Efficient Data Generation [11.452816167207937]
本稿では,生成最適化ネットワーク(GON)と呼ばれる新しいフレームワークを提案する。
GONは単一の識別器ネットワークを使用し、入力空間で最適化を行い、新しいデータサンプルを生成し、トレーニング時間とメモリ消費の効果的な妥協を実現する。
我々のフレームワークでは、検出F1スコアが最大で32%、メモリ消費が58%、トレーニングオーバーヘッドが最先端と比較してわずか5%高いことが示されています。
論文 参考訳（メタデータ） (2021-10-06T16:54:33Z) - Enabling Homomorphically Encrypted Inference for Large DNN Models [1.0679692136113117]
ホモモルフィック暗号化(HE)は暗号化データを使用した推論を可能にするが、100x--10,000xメモリと実行時のオーバーヘッドが発生する。
HEを用いたセキュアディープニューラルネットワーク(DNN)推論は現在、コンピューティングとメモリリソースによって制限されている。
DRAMと永続メモリからなるハイブリッドメモリシステムの利用可能性を検討する。
論文 参考訳（メタデータ） (2021-03-30T07:53:34Z) - Uncertainty-Aware Deep Calibrated Salient Object Detection [74.58153220370527]
既存のディープニューラルネットワークに基づくサルエントオブジェクト検出(SOD)手法は主に高いネットワーク精度の追求に重点を置いている。
これらの手法は、信頼不均衡問題として知られるネットワーク精度と予測信頼の間のギャップを見落としている。
我々は,不確実性を考慮した深部SODネットワークを導入し,深部SODネットワークの過信を防止するための2つの戦略を提案する。
論文 参考訳（メタデータ） (2020-12-10T23:28:36Z) - GECKO: Reconciling Privacy, Accuracy and Efficiency in Embedded Deep
Learning [5.092028049119383]
NNにおけるIoTデバイスの3次元プライバシ-精度-効率トレードオフを分析します。
設計目的として,私的推論に対する抵抗を明示的に付加するGeckoトレーニング手法を提案する。
論文 参考訳（メタデータ） (2020-10-02T10:36:55Z) - A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration
Framework [56.57225686288006]
モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。
従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。
プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-13T23:52:03Z) - PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with
Pattern-based Weight Pruning [57.20262984116752]
粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。
きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
論文 参考訳（メタデータ） (2020-01-01T04:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。