論文の概要: Confidential Machine Learning within Graphcore IPUs
- arxiv url: http://arxiv.org/abs/2205.09005v1
- Date: Wed, 18 May 2022 15:41:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-19 14:07:44.860010
- Title: Confidential Machine Learning within Graphcore IPUs
- Title(参考訳): graphcore ipusにおける秘密機械学習
- Authors: Kapil Vaswani, Stavros Volos, C\'edric Fournet, Antonio Nino Diaz, Ken
Gordon, Balaji Vembu, Sam Webster, David Chisnall, Saurabh Kulkarni, Graham
Cunningham, Richard Osbourne, Dan Wilkinson
- Abstract要約: GraphcoreのGC200 IPUはTSMCの7nm技術ノードで出力された。
ITXは、パフォーマンスのオーバーヘッドが低い場合に、強力な機密性と整合性を保証するAIワークロードの実行を可能にする。
- 参考スコア(独自算出の注目度): 1.8657490510210906
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present IPU Trusted Extensions (ITX), a set of experimental hardware
extensions that enable trusted execution environments in Graphcore's AI
accelerators.
ITX enables the execution of AI workloads with strong confidentiality and
integrity guarantees at low performance overheads. ITX isolates workloads from
untrusted hosts, and ensures their data and models remain encrypted at all
times except within the IPU. ITX includes a hardware root-of-trust that
provides attestation capabilities and orchestrates trusted execution, and
on-chip programmable cryptographic engines for authenticated encryption of code
and data at PCIe bandwidth. We also present software for ITX in the form of
compiler and runtime extensions that support multi-party training without
requiring a CPU-based TEE.
Experimental support for ITX is included in Graphcore's GC200 IPU taped out
at TSMC's 7nm technology node. Its evaluation on a development board using
standard DNN training workloads suggests that ITX adds less than 5% performance
overhead, and delivers up to 17x better performance compared to CPU-based
confidential computing systems relying on AMD SEV-SNP.
- Abstract(参考訳): We present IPU Trusted Extensions (ITX)は、GraphcoreのAIアクセラレータにおける信頼性の高い実行環境を可能にする実験的なハードウェア拡張セットである。
ITXは、パフォーマンスのオーバーヘッドが低い場合に、強力な機密性と整合性を保証するAIワークロードの実行を可能にする。
ITXは、信頼できないホストからワークロードを分離し、IPU内以外は、そのデータとモデルを常に暗号化し続ける。
ITXには、認証機能を提供し、信頼できる実行をオーケストレーションするハードウェアのroot-of-trustと、PCIe帯域におけるコードとデータの認証暗号化のためのオンチッププログラマブル暗号エンジンが含まれている。
また、CPUベースのTEEを必要とせずに、マルチパーティトレーニングをサポートするコンパイラやランタイム拡張という形でITX用のソフトウェアを提示する。
ITXの実験的サポートは、TSMCの7nm技術ノードでタップアウトされたGraphcoreのGC200 IPUに含まれている。
標準的なDNNトレーニングワークロードを使用した開発ボード上での評価では、ITXは5%未満のパフォーマンスオーバーヘッドを追加し、AMD SEV-SNPに依存するCPUベースの機密コンピューティングシステムと比較して最大17倍のパフォーマンスを提供する。
関連論文リスト
- Fastrack: Fast IO for Secure ML using GPU TEEs [7.758531952461963]
GPUベースのTrusted Execution Environments (TEE)はセキュアで高性能なソリューションを提供する。
CPU間通信のオーバーヘッドは性能を著しく損なう。
本稿では、Nvidia H100 TEEプロトコルを分析し、3つの重要なオーバーヘッドを特定する。
我々は,1)直接GPU TEE通信,2)並列化認証,3)PCI-e伝送による重複復号化を最適化したFastrackを提案する。
論文 参考訳(メタデータ) (2024-10-20T01:00:33Z) - Ascend-CC: Confidential Computing on Heterogeneous NPU for Emerging Generative AI Workloads [1.8633238548765558]
クラウドワークロードは、大規模言語モデル(LLM)に基づいた生成AIを支配している
GPU、NPU、TPUといった特殊なハードウェアアクセラレータは、汎用CPUよりも優れたパフォーマンスのため、AIの採用において重要な役割を果たす。
AIモデルとデータは、しばしば非常に敏感で、相互に不信な関係者から来ています。
本稿では,ホストシステムへの信頼を必要としない離散NPUデバイスに基づく秘密計算アーキテクチャAscend-CCを提案する。
論文 参考訳(メタデータ) (2024-07-16T16:17:28Z) - Assessing the Performance of OpenTitan as Cryptographic Accelerator in Secure Open-Hardware System-on-Chips [4.635794094881707]
OpenTitanは、幅広いシステムにデプロイされるように設計された、オープンソースのシリコンルーツ・オブ・トラストである。
OpenTitanを安全なアクセラレータとして使用することによって得られるメリットの正確かつ定量的な確立は行われていない。
本稿では、暗号化ワークロードをOpenTitanにオフロードする際の強度と非効率性を徹底的に分析することで、このギャップに対処する。
論文 参考訳(メタデータ) (2024-02-16T01:35:40Z) - HasTEE+ : Confidential Cloud Computing and Analytics with Haskell [50.994023665559496]
信頼性コンピューティングは、Trusted Execution Environments(TEEs)と呼ばれる特別なハードウェア隔離ユニットを使用して、コテナントクラウドデプロイメントにおける機密コードとデータの保護を可能にする。
低レベルのC/C++ベースのツールチェーンを提供するTEEは、固有のメモリ安全性の脆弱性の影響を受けやすく、明示的で暗黙的な情報フローのリークを監視するための言語構造が欠如している。
私たちは、Haskellに埋め込まれたドメイン固有言語(cla)であるHasTEE+を使って、上記の問題に対処します。
論文 参考訳(メタデータ) (2024-01-17T00:56:23Z) - FLEdge: Benchmarking Federated Machine Learning Applications in Edge Computing Systems [61.335229621081346]
フェデレートラーニング(FL)は,ネットワークエッジ上での分散ディープラーニングのプライバシ強化を実現する上で,有効なテクニックとなっている。
本稿では,既存のFLベンチマークを補完するFLEdgeを提案する。
論文 参考訳(メタデータ) (2023-06-08T13:11:20Z) - Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。
1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。
我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2023-04-25T05:04:44Z) - MAPLE-X: Latency Prediction with Explicit Microprocessor Prior Knowledge [87.41163540910854]
ディープニューラルネットワーク(DNN)レイテンシのキャラクタリゼーションは、時間を要するプロセスである。
ハードウェアデバイスの事前知識とDNNアーキテクチャのレイテンシを具体化し,MAPLEを拡張したMAPLE-Xを提案する。
論文 参考訳(メタデータ) (2022-05-25T11:08:20Z) - Building Your Own Trusted Execution Environments Using FPGA [16.206300249987354]
BYOTee(Build Your Own Trusted Execution Environments)は、複数のセキュアなエンクレーブを構築するための、使いやすいインフラである。
BYOTeeは、FPGAの要求に応じて、ソフトコアCPU、ブロックRAM、周辺接続を含むカスタマイズされたハードウェアTCBでエンクレーブを作成する。
論文 参考訳(メタデータ) (2022-03-08T17:22:52Z) - MAPLE: Microprocessor A Priori for Latency Estimation [81.91509153539566]
現代のディープニューラルネットワークは、低レイテンシとエネルギー消費を示しながら最先端の精度を示す必要がある。
評価されたアーキテクチャのレイテンシの測定は、NASプロセスにかなりの時間を加えます。
転送学習やドメイン適応に依存しない推定用マイクロプロセッサAプライオリティを提案する。
論文 参考訳(メタデータ) (2021-11-30T03:52:15Z) - Perun: Secure Multi-Stakeholder Machine Learning Framework with GPU
Support [1.5362025549031049]
Perunは機密のマルチステークホルダ機械学習のためのフレームワークである。
ハードウェアアクセラレータ(GPUなど)上でMLトレーニングを実行し、セキュリティ保証を提供する。
CIFAR-10と現実世界の医療データセットのMLトレーニング中に、Perunは161倍から1560倍のスピードアップを達成した。
論文 参考訳(メタデータ) (2021-03-31T08:31:07Z) - Optimizing Deep Learning Recommender Systems' Training On CPU Cluster
Architectures [56.69373580921888]
クラウドコンピューティングセンターのAIサイクルの大部分を占めるRecommender Systemsに注目します。
HPC用に調整された最新のCPUハードウェアとソフトウェア上で動作可能にすることで、パフォーマンスの2桁以上の改善を達成できます。
論文 参考訳(メタデータ) (2020-05-10T14:40:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。