論文の概要: Tempo: Confidentiality Preservation in Cloud-Based Neural Network
Training
- arxiv url: http://arxiv.org/abs/2401.11531v1
- Date: Sun, 21 Jan 2024 15:57:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 15:54:49.215265
- Title: Tempo: Confidentiality Preservation in Cloud-Based Neural Network
Training
- Title（参考訳）: tempo:クラウドベースのニューラルネットワークトレーニングにおける機密性維持
- Authors: Rongwu Xu and Zhixuan Fang
- Abstract要約: クラウドディープラーニングプラットフォームは、計算リソースが不足している顧客に対して、費用対効果の高いディープニューラルネットワーク(DNN)トレーニングを提供する。
近年、研究者は、CPU信頼実行環境(TEE)を活用して、ディープラーニングにおけるデータのプライバシ保護を模索している。
本稿では、TEEと分散GPUと連携するクラウドベースの初のディープラーニングシステムであるTempoについて述べる。
- 参考スコア（独自算出の注目度）: 8.187538747666203
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Cloud deep learning platforms provide cost-effective deep neural network
(DNN) training for customers who lack computation resources. However, cloud
systems are often untrustworthy and vulnerable to attackers, leading to growing
concerns about model privacy. Recently, researchers have sought to protect data
privacy in deep learning by leveraging CPU trusted execution environments
(TEEs), which minimize the use of cryptography, but existing works failed to
simultaneously utilize the computational resources of GPUs to assist in
training and prevent model leakage. This paper presents Tempo, the first
cloud-based deep learning system that cooperates with TEE and distributed GPUs
for efficient DNN training with model confidentiality preserved. To tackle the
challenge of preserving privacy while offloading linear algebraic operations
from TEE to GPUs for efficient batch computation, we introduce a customized
permutation-based obfuscation algorithm to blind both inputs and model
parameters. An optimization mechanism that reduces encryption operations is
proposed for faster weight updates during backpropagation to speed up training.
We implement Tempo and evaluate it with both training and inference for two
prevalent DNNs. Empirical results indicate that Tempo outperforms baselines and
offers sufficient privacy protection.
- Abstract（参考訳）: クラウドコンピューティングプラットフォームは、計算リソースが不足している顧客に対して、費用対効果の高いディープニューラルネットワーク(DNN)トレーニングを提供する。
しかし、クラウドシステムはしばしば信頼できないものであり、攻撃者に対して脆弱である。
近年、研究者らは、暗号化の使用を最小限に抑えるCPU信頼実行環境(TEE)を活用することで、ディープラーニングにおけるデータのプライバシ保護を模索しているが、既存の研究では、GPUの計算リソースを同時に活用できず、トレーニングやモデルリークの防止に役立てている。
本稿では,TEEや分散GPUと連携して,モデル秘密保持を伴う効率的なDNNトレーニングを行う,クラウドベースの初のディープラーニングシステムであるTempoについて述べる。
TEEからGPUへの線形代数演算をオフロードして効率よくバッチ計算する際のプライバシ保護の課題に対処するために,入力パラメータとモデルパラメータの両方を無視するパーマテーションベースの難読化アルゴリズムを導入する。
トレーニングの高速化のためにバックプロパゲーション中に、より高速な重み更新のために暗号化操作を削減する最適化機構を提案する。
我々はTempoを実装し、2つの一般的なDNNのトレーニングと推論で評価する。
実証的な結果は、Tempoがベースラインを上回り、十分なプライバシー保護を提供することを示している。
関連論文リスト
- SCoTTi: Save Computation at Training Time with an adaptive framework [7.780766187171572]
デバイス上でのトレーニングは、エッジデバイス上でモデルをトレーニングする機械学習における新たなアプローチである。
本研究では,SCoTTi(Save Computation at Training Time)を提案する。
提案手法は, 様々なベンチマークにおいて, 計算資源の節約に関する最先端手法と比較して, 優れた性能を示す。
論文 参考訳（メタデータ） (2023-12-19T16:19:33Z) - Temporal Patience: Efficient Adaptive Deep Learning for Embedded Radar
Data Processing [4.359030177348051]
本稿では,ストリーミングレーダデータに存在する時間相関を利用して,組込みデバイス上でのディープラーニング推論のための早期排他ニューラルネットワークの効率を向上させる手法を提案する。
以上の結果から,提案手法は単一排他ネットワーク上での推論当たりの演算量の最大26%を削減し,信頼度に基づく早期排他バージョンで12%を削減できることがわかった。
このような効率向上により、リソース制約のあるプラットフォーム上でリアルタイムなレーダデータ処理が可能になり、スマートホーム、インターネット・オブ・シング、人間とコンピュータのインタラクションといったコンテキストにおける新しいアプリケーションが可能になる。
論文 参考訳（メタデータ） (2023-09-11T12:38:01Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - DarKnight: An Accelerated Framework for Privacy and Integrity Preserving
Deep Learning Using Trusted Hardware [3.1853566662905943]
DarKnightは大規模なDNNトレーニングのためのフレームワークで、入力のプライバシと整合性を保護する。
DarKnightは、信頼できる実行環境(TEE)とアクセラレータ間の協調実行に依存している。
DarKnightのデータ難読化戦略は、クラウドサーバにおける証明可能なデータのプライバシと計算の整合性を提供する。
論文 参考訳（メタデータ） (2022-06-30T19:58:36Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Privacy and Integrity Preserving Training Using Trusted Hardware [4.5843599120944605]
DarKnightは、入力のプライバシーと整合性を保護しながら、大規模な計算トレーニングのためのフレームワークです。
DarKnightは、信頼できる実行環境(TEE)とアクセラレータ間の協調実行に依存している。
論文 参考訳（メタデータ） (2021-05-01T19:33:28Z) - NN-EMD: Efficiently Training Neural Networks using Encrypted
Multi-Sourced Datasets [7.067870969078555]
暗号化データセット上で機械学習モデルをトレーニングすることは、プライバシ保護機械学習タスクに対処するための、既存の有望なアプローチである。
複数の情報源から収集された複数のデータセット上でディープニューラルネットワーク(DNN)モデルをトレーニングするための新しいフレームワークであるNN-EMDを提案する。
MNISTデータセットのトレーニング時間とモデル精度について,本フレームワークの性能評価を行った。
論文 参考訳（メタデータ） (2020-12-18T23:01:20Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z) - Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G
Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。
このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-02-22T14:38:11Z) - CryptoSPN: Privacy-preserving Sum-Product Network Inference [84.88362774693914]
総生産ネットワーク(SPN)のプライバシ保護のためのフレームワークを提案する。
CryptoSPNは、中規模のSPNに対して秒の順序で高効率で正確な推論を行う。
論文 参考訳（メタデータ） (2020-02-03T14:49:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。