論文の概要: Managing Large Enclaves in a Data Center
- arxiv url: http://arxiv.org/abs/2311.06991v1
- Date: Mon, 13 Nov 2023 00:08:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 23:32:03.952534
- Title: Managing Large Enclaves in a Data Center
- Title(参考訳): データセンターにおける大規模エンクレーブの管理
- Authors: Sandeep Kumar, Smruti R. Sarangi,
- Abstract要約: 私たちは、TEE対応アプリケーションで大規模なメモリフットプリントをライブ移行するためのエンドツーエンドソリューションであるOpsMigを紹介します。
当社のアプローチでは、開発者がアプリケーションを変更する必要はないが、短時間で独立したコンパイルパスと特別なソフトウェアライブラリのサポートが必要である。
- 参考スコア(独自算出の注目度): 3.174768030369157
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Live migration of an application or VM is a well-known technique for load balancing, performance optimization, and resource management. To minimize the total downtime during migration, two popular methods -- pre-copy or post-copy -- are used in practice. These methods scale to large VMs and applications since the downtime is independent of the memory footprint of an application. However, in a secure, trusted execution environment (TEE) like Intel's scalable SGX, the state-of-the-art still uses the decade-old stop-and-copy method, where the total downtime is proportional to the application's memory footprint. This is primarily due to the fact that TEEs like Intel SGX do not expose memory and page table accesses to the OS, quite unlike unsecure applications. However, with modern TEE solutions that efficiently support large applications, such as Intel's Scalable SGX and AMD's Epyc, it is high time that TEE migration methods also evolve to enable live migration of large TEE applications with minimal downtime (stop-and-copy cannot be used any more). We present OptMig, an end-to-end solution for live migrating large memory footprints in TEE-enabled applications. Our approach does not require a developer to modify the application; however, we need a short, separate compilation pass and specialized software library support. Our optimizations reduce the total downtime by 98% for a representative microbenchmark that uses 20GB of secure memory and by 90 -- 96% for a suite of Intel SGX applications that have multi-GB memory footprints.
- Abstract(参考訳): アプリケーションやVMのライブマイグレーションは、ロードバランシング、パフォーマンス最適化、リソース管理においてよく知られているテクニックだ。
移行中の総ダウンタイムを最小限にするために、実際には2つの一般的なメソッド(プレコピーまたはポストコピー)が使用されている。
これらのメソッドは、ダウンタイムがアプリケーションのメモリフットプリントに依存しないため、大きなVMやアプリケーションにスケールする。
しかし、IntelのスケーラブルなSGXのようなセキュアで信頼性の高い実行環境(TEE)では、最先端技術は10年前のストップ・アンド・コピー方式を使用しており、総ダウンタイムはアプリケーションのメモリフットプリントに比例する。
これは主に、Intel SGXのようなTEEが、安全でないアプリケーションとは異なり、メモリとページテーブルへのアクセスを公開していないためである。
しかし、IntelのScalable SGXやAMDのEpycのような大規模アプリケーションを効率的にサポートする最新のTEEソリューションでは、TEEマイグレーションメソッドも進化して、ダウンタイムを最小限にした大規模なTEEアプリケーションのライブマイグレーションを可能にする(ストップアンドコピーはもはや使用できない)。
私たちは、TEE対応アプリケーションで大規模なメモリフットプリントをライブ移行するためのエンドツーエンドソリューションであるOpsMigを紹介します。
当社のアプローチでは、開発者がアプリケーションを変更する必要はないが、短時間で独立したコンパイルパスと特別なソフトウェアライブラリのサポートが必要である。
最適化により、20GBのセキュアメモリを使用する代表マイクロベンチマークの総ダウンタイムを98%削減し、マルチGBメモリフットプリントを備えたIntel SGXアプリケーションスイートの90-96%削減しました。
関連論文リスト
- Memory-Efficient and Secure DNN Inference on TrustZone-enabled Consumer IoT Devices [9.928745904761358]
エッジインテリジェンスにより、元のデータを転送することなく、リソース要求のDeep Neural Network(DNN)推論が可能になる。
プライバシに敏感なアプリケーションでは、ハードウェアアイソレーションされた信頼できる実行環境(TEE)にモデルをデプロイすることが不可欠である。
我々は,モデル推論における包括的プライバシ保護を保証するため,TrustZoneにおける高度なモデル展開のための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2024-03-19T09:22:50Z) - Online Adaptation of Language Models with a Memory of Amortized Contexts [86.91360597169563]
MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。
本稿では,新しい文書から情報を圧縮・抽出するメモリ拡張手法を提案する。
実験では,オンライン適応性能,時間,メモリ効率など,MACの複数の面での優位性を実証した。
論文 参考訳(メタデータ) (2024-03-07T08:34:57Z) - A Comprehensive Trusted Runtime for WebAssembly with Intel SGX [2.6732136954707792]
TEE内でWebAssemblyコンパイルされたアプリケーションを実行するための信頼できるランタイムであるTwineを紹介します。
標準のWebAssemblyシステムインターフェース(WASI)を拡張し、I/OにフォーカスしたコントロールされたOSサービスを提供する。
汎用ベンチマークと実世界のアプリケーションを用いてその性能を評価し,最先端のソリューションと比較した。
論文 参考訳(メタデータ) (2023-12-14T16:19:00Z) - MemGPT: Towards LLMs as Operating Systems [50.02623936965231]
大規模言語モデル(LLM)はAIに革命をもたらしたが、限られたコンテキストウィンドウによって制約されている。
従来のオペレーティングシステムにおける階層型メモリシステムからのインスピレーションを引き出す技術である仮想コンテキスト管理を提案する。
私たちはMemGPTコードと実験のためのデータをhttps://memgpt.ai.comでリリースします。
論文 参考訳(メタデータ) (2023-10-12T17:51:32Z) - FusionAI: Decentralized Training and Deploying LLMs with Massive
Consumer-Level GPUs [57.12856172329322]
我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。
このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
論文 参考訳(メタデータ) (2023-09-03T13:27:56Z) - Pre-gated MoE: An Algorithm-System Co-Design for Fast and Scalable Mixture-of-Expert Inference [23.207326766883405]
Mixture-of-Experts (MoE)は、計算要求を比例的にスケールアップすることなく、モデルサイズをスケールすることができる。
プレゲートMOEは、スパース専門家活性化の動的性質を緩和する新しいプレゲート機能を用いている。
我々は、Pre-gated MoEが、同じレベルのモデル品質を維持しながら、パフォーマンスを改善し、GPUメモリ消費を減らすことを実証した。
論文 参考訳(メタデータ) (2023-08-23T11:25:37Z) - AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration [54.692405042065815]
大規模言語モデル(LLM)は、多数のアプリケーションの能力を変革した。
エッジデバイス上でのLSMの実行により、レイテンシの低減とユーザエクスペリエンスの向上を実現している。
低ビット量のみの量子化のためのアクティベーション・アウェア・ウェイト量子化(AWQ)を提案する。
論文 参考訳(メタデータ) (2023-06-01T17:59:10Z) - NumS: Scalable Array Programming for the Cloud [82.827921577004]
タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。
これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。
LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
論文 参考訳(メタデータ) (2022-06-28T20:13:40Z) - MAPLE-Edge: A Runtime Latency Predictor for Edge Devices [80.01591186546793]
汎用ハードウェアの最先端遅延予測器であるMAPLEのエッジデバイス指向拡張であるMAPLE-Edgeを提案する。
MAPLEと比較して、MAPLE-Edgeはより小さなCPUパフォーマンスカウンタを使用して、ランタイムとターゲットデバイスプラットフォームを記述することができる。
また、共通ランタイムを共有するデバイスプール上でトレーニングを行うMAPLEとは異なり、MAPLE-Edgeは実行時に効果的に一般化できることを示す。
論文 参考訳(メタデータ) (2022-04-27T14:00:48Z) - GEMEL: Model Merging for Memory-Efficient, Real-Time Video Analytics at
the Edge [10.276140547573437]
エッジビジョンモデル間のアーキテクチャ的類似性を利用した新しいメモリ管理手法であるモデルマージを提案する。
多様なワークロードに対する実験により、GEMELはメモリ使用量を最大60.7%削減し、時間/空間の共有のみと比較して、全体的な精度を8~39%向上することが明らかになった。
論文 参考訳(メタデータ) (2022-01-19T16:45:04Z) - Towards Faster Reasoners By Using Transparent Huge Pages [0.491574468325115]
本研究では,ARツールのランタイムを平均で10%,長期実行タスクで最大20%削減するアプローチを提案する。
我々の改善は、ARツールで使用されるデータ構造に付随する高メモリ使用量に対処しています。
論文 参考訳(メタデータ) (2020-04-29T17:57:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。