論文の概要: Managing Large Enclaves in a Data Center
- arxiv url: http://arxiv.org/abs/2311.06991v2
- Date: Wed, 31 Jul 2024 08:28:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-01 13:37:09.226865
- Title: Managing Large Enclaves in a Data Center
- Title(参考訳): データセンターにおける大規模エンクレーブの管理
- Authors: Sandeep Kumar, Abhisek Panda, Smruti R. Sarangi,
- Abstract要約: ほぼゼロのダウンタイムでセキュアなエンクレーブマイグレーションを実現する新しい手法であるOpsMigを提案する。
我々の最適化は、マルチGBメモリフットプリントを持つIntel SGXアプリケーションスイートの総ダウンタイムを77-96%削減する。
- 参考スコア(独自算出の注目度): 2.708829957859632
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Live migration of applications and VMs in data centers is an old and quintessential problem. In this large body of work, an important open problem still remains, which is the migration of secure enclaves (sandboxes) running on trusted execution environments (TEEs) like Intel SGX. Here, the decade-old stop-and-copy-based method is used, in which the entire application`s execution is stopped and the state is collected and transferred. This method has an exceedingly long downtime when we consider enclaves with large memory footprints. Better solutions have eluded us because of some design limitations posed by TEEs like Intel SGX, such as the opacity of data within enclaves (not visible to the OS/hypervisor) and the lack of mechanisms to track writes on secure pages. We propose a new technique, OptMig, to circumvent these limitations and implement secure enclave migration with a near-zero downtime. We rely on a short compiler pass and propose a novel migration mechanism. Our optimizations reduce the total downtime by 77-96% for a suite of Intel SGX applications that have multi-GB memory footprints. We show results for our system on a real cloud and in settings that use containers, VMs, and microVMs
- Abstract(参考訳): データセンターにおけるアプリケーションとVMのライブマイグレーションは、古くて重要な問題である。
これはIntel SGXのような信頼できる実行環境(TEE)で動作するセキュアなエンクレーブ(サンドボックス)のマイグレーションである。
ここでは、アプリケーション全体の実行が停止し、状態が収集され、転送される10年前のストップアンドコピーベースのメソッドが使用されます。
メモリフットプリントが大きいエンクレーブを考えると,この手法は極めて長いダウンタイムを持つ。
例えば、エンクレーブ内のデータの不透明さ(OS/ハイパーバイザには見えない)や、セキュアなページの書き込みを追跡するメカニズムの欠如などです。
我々は,これらの制限を回避し,ほぼゼロのダウンタイムでセキュアなエンクレーブマイグレーションを実現する新しい手法であるOpsMigを提案する。
我々は、短いコンパイラパスに依存し、新しいマイグレーションメカニズムを提案する。
我々の最適化は、マルチGBメモリフットプリントを持つIntel SGXアプリケーションスイートの総ダウンタイムを77-96%削減する。
実際のクラウドとコンテナ、VM、マイクロVMを使用する設定で、システムの結果を示します。
関連論文リスト
- vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
論文 参考訳(メタデータ) (2024-07-22T14:37:58Z) - TME-Box: Scalable In-Process Isolation through Intel TME-MK Memory Encryption [11.543384661361232]
クラウドコンピューティングは、単一のプロセス内でワークロードを実行することでパフォーマンスを最適化するために、プロセス内分離に依存している。
既存のプロセス内分離メカニズムは、現代的なクラウド要件には適していない。
本稿では,コモディティx86マシン上で細粒度でスケーラブルなサンドボックスを実現する,新しい分離技術であるTME-Boxを提案する。
論文 参考訳(メタデータ) (2024-07-15T14:09:00Z) - Memory-Efficient and Secure DNN Inference on TrustZone-enabled Consumer IoT Devices [9.928745904761358]
エッジインテリジェンスにより、元のデータを転送することなく、リソース要求のDeep Neural Network(DNN)推論が可能になる。
プライバシに敏感なアプリケーションでは、ハードウェアアイソレーションされた信頼できる実行環境(TEE)にモデルをデプロイすることが不可欠である。
我々は,モデル推論における包括的プライバシ保護を保証するため,TrustZoneにおける高度なモデル展開のための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2024-03-19T09:22:50Z) - Online Adaptation of Language Models with a Memory of Amortized Contexts [86.91360597169563]
MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。
本稿では,新しい文書から情報を圧縮・抽出するメモリ拡張手法を提案する。
実験では,オンライン適応性能,時間,メモリ効率など,MACの複数の面での優位性を実証した。
論文 参考訳(メタデータ) (2024-03-07T08:34:57Z) - A Comprehensive Trusted Runtime for WebAssembly with Intel SGX [2.6732136954707792]
TEE内でWebAssemblyコンパイルされたアプリケーションを実行するための信頼できるランタイムであるTwineを紹介します。
標準のWebAssemblyシステムインターフェース(WASI)を拡張し、I/OにフォーカスしたコントロールされたOSサービスを提供する。
汎用ベンチマークと実世界のアプリケーションを用いてその性能を評価し,最先端のソリューションと比較した。
論文 参考訳(メタデータ) (2023-12-14T16:19:00Z) - MemGPT: Towards LLMs as Operating Systems [50.02623936965231]
大規模言語モデル(LLM)はAIに革命をもたらしたが、限られたコンテキストウィンドウによって制約されている。
従来のオペレーティングシステムにおける階層型メモリシステムからのインスピレーションを引き出す技術である仮想コンテキスト管理を提案する。
私たちはMemGPTコードと実験のためのデータをhttps://memgpt.ai.comでリリースします。
論文 参考訳(メタデータ) (2023-10-12T17:51:32Z) - FusionAI: Decentralized Training and Deploying LLMs with Massive
Consumer-Level GPUs [57.12856172329322]
我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。
このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
論文 参考訳(メタデータ) (2023-09-03T13:27:56Z) - Pre-gated MoE: An Algorithm-System Co-Design for Fast and Scalable Mixture-of-Expert Inference [23.207326766883405]
Mixture-of-Experts (MoE)は、計算要求を比例的にスケールアップすることなく、モデルサイズをスケールすることができる。
プレゲートMOEは、スパース専門家活性化の動的性質を緩和する新しいプレゲート機能を用いている。
我々は、Pre-gated MoEが、同じレベルのモデル品質を維持しながら、パフォーマンスを改善し、GPUメモリ消費を減らすことを実証した。
論文 参考訳(メタデータ) (2023-08-23T11:25:37Z) - Full Parameter Fine-tuning for Large Language Models with Limited Resources [55.794732214059806]
大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、トレーニングには大量のGPUリソースを必要としている。
我々は,メモリ使用量を削減するために,勾配とパラメータの更新を1ステップで融合する新しい計算,LOMO(LOw-Memory Optimization)を提案する。
論文 参考訳(メタデータ) (2023-06-16T11:37:15Z) - MAPLE-Edge: A Runtime Latency Predictor for Edge Devices [80.01591186546793]
汎用ハードウェアの最先端遅延予測器であるMAPLEのエッジデバイス指向拡張であるMAPLE-Edgeを提案する。
MAPLEと比較して、MAPLE-Edgeはより小さなCPUパフォーマンスカウンタを使用して、ランタイムとターゲットデバイスプラットフォームを記述することができる。
また、共通ランタイムを共有するデバイスプール上でトレーニングを行うMAPLEとは異なり、MAPLE-Edgeは実行時に効果的に一般化できることを示す。
論文 参考訳(メタデータ) (2022-04-27T14:00:48Z) - Towards Faster Reasoners By Using Transparent Huge Pages [0.491574468325115]
本研究では,ARツールのランタイムを平均で10%,長期実行タスクで最大20%削減するアプローチを提案する。
我々の改善は、ARツールで使用されるデータ構造に付随する高メモリ使用量に対処しています。
論文 参考訳(メタデータ) (2020-04-29T17:57:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。