論文の概要: Adaptive and Efficient Dynamic Memory Management for Hardware Enclaves
- arxiv url: http://arxiv.org/abs/2504.16251v1
- Date: Tue, 22 Apr 2025 20:28:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:52.914756
- Title: Adaptive and Efficient Dynamic Memory Management for Hardware Enclaves
- Title（参考訳）: ハードウェアエンクレーブの適応的かつ効率的な動的メモリ管理
- Authors: Vijay Dhanraj, Harpreet Singh Chwarla, Tao Zhang, Daniel Manila, Eric Thomas Schneider, Erica Fu, Mona Vij, Chia-Che Tsai, Donald E. Porter,
- Abstract要約: Intel Software Guard Extensions (Intel SGX)の第2バージョンでは、エンクレーブメモリとスレッドの動的管理が追加されている。
SGX2のEnclave Dynamic Memory Management機能は、起動時間と全体の実行時間を短縮する可能性がある。
本稿では,GramineライブラリOSをランタイム環境の代表として使用したEDMM性能の回復方法を示す。
- 参考スコア（独自算出の注目度）: 4.608812547563241
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The second version of Intel Software Guard Extensions (Intel SGX), or SGX2, adds dynamic management of enclave memory and threads. The first version required the address space and thread counts to be fixed before execution. The Enclave Dynamic Memory Management (EDMM) feature of SGX2 has the potential to lower launch times and overall execution time. Despite reducing the enclave loading time by 28--93%, straightforward EDMM adoption strategies actually slow execution time down by as much as 58%. Using the Gramine library OS as a representative enclave runtime environment, this paper shows how to recover EDMM performance. The paper explains how implementing mutual distrust between the OS and enclave increases the cost of modifying page mappings. The paper then describes and evaluates a series of optimizations on application benchmarks, showing that these optimizations effectively eliminate the overheads of EDMM while retaining EDMM's performance and flexibility gains.
- Abstract（参考訳）: Intel Software Guard Extensions (Intel SGX)の第2バージョンでは、エンクレーブメモリとスレッドの動的管理が追加されている。
最初のバージョンではアドレス空間が必要で、スレッド数は実行前に修正される必要があった。
SGX2のEnclave Dynamic Memory Management (EDMM)機能は、起動時間と全体の実行時間を短縮する可能性がある。
エンクレーブのロード時間を28～93%削減したにもかかわらず、単純なEDMM採用戦略は実行時間を最大58%短縮した。
本稿では,GramineライブラリOSをランタイム環境の代表として使用し,EDMM性能の回復方法を示す。
本稿は,OSとエンクレーブ間の相互不信がページマッピングの変更コストをいかに高めるかを説明する。
この結果から,EDMMの性能と柔軟性を保ちながら,EDMMのオーバーヘッドを効果的に除去できることが示唆された。
関連論文リスト
- MOM: Memory-Efficient Offloaded Mini-Sequence Inference for Long Context Language Models [72.61076288351201]
メモリ効率の良いオフロードミニシーケンス推論(MOM)を提案する。
MOMは重要なレイヤを小さな“ミニシーケンス”に分割し、KVキャッシュのオフロードとシームレスに統合する。
Meta-Llama-3.2-8Bでは、単一のA100 80GB GPU上での最大コンテキスト長を155kから455kに拡張する。
論文 参考訳（メタデータ） (2025-04-16T23:15:09Z) - Shared Disk KV Cache Management for Efficient Multi-Instance Inference in RAG-Powered LLMs [5.02504911036896]
最近の大規模言語モデル(LLM)は、入力コンテキストの長さとモデルサイズが大きくなるにつれて、推論遅延が増加する。
本稿では,ディスクベースのキー値(KV)キャッシュを利用して,プリフィル時の計算負担を軽減することによるTTFT削減手法を提案する。
また、マルチインスタンスLLM RAGサービス環境のためのディスクベースの共有KVキャッシュ管理システムであるShared RAG-DCacheを導入する。
論文 参考訳（メタデータ） (2025-04-16T04:59:18Z) - ProMoE: Fast MoE-based LLM Serving using Proactive Caching [4.4026892123375605]
本稿では,プロアクティブキャッシュシステムProMoEについて紹介する。
ProMoEはプリフィルおよびデコード段階で平均2.20倍(最大3.21倍)と2.07倍(最大5.02倍)のスピードアップを達成する。
論文 参考訳（メタデータ） (2024-10-29T15:31:27Z) - vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
論文 参考訳（メタデータ） (2024-07-22T14:37:58Z) - MEMO: Fine-grained Tensor Management For Ultra-long Context LLM Training [24.066283519769968]
大規模言語モデル(LLM)は、よりクリエイティブなアプリケーションを促進するために、拡張コンテキスト長を使用して訓練されている。
本稿では,メモリ管理を微粒化するための新しいフレームワークであるMEMOを提案する。
MeMOはMegatron-LMやDeepSpeedと比べて平均1.97倍と1.80倍のMFUを達成している。
論文 参考訳（メタデータ） (2024-07-16T18:59:49Z) - MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,大規模言語モデル(LLM)の拡張手法であるMemLLMを紹介する。
実験の結果, 言語モデリング, 特に知識集約型タスクにおいて, MemLLMはLLMの性能と解釈可能性を向上させることが示唆された。
論文 参考訳（メタデータ） (2024-04-17T18:13:16Z) - Online Adaptation of Language Models with a Memory of Amortized Contexts [82.02369596879817]
MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。
MACとMACを組み合わせれば,検索の高速化など,一般的な代替手段の性能が向上することを示す。
論文 参考訳（メタデータ） (2024-03-07T08:34:57Z) - Efficient Memory Management for Large Language Model Serving with
PagedAttention [44.70922552274376]
大規模言語モデル(LLM)の高スループットサービスには,一度に十分な数の要求が要求される。
既存のシステムでは、各要求のキー値キャッシュ(KVキャッシュ)メモリが巨大で、成長し、動的に縮小するため、苦労している。
本稿では,オペレーティングシステムにおける従来の仮想メモリとページング技術にヒントを得たアテンションアルゴリズムであるPagedAttentionを提案する。
論文 参考訳（メタデータ） (2023-09-12T12:50:04Z) - RMM: Reinforced Memory Management for Class-Incremental Learning [102.20140790771265]
クラスインクリメンタルラーニング(CIL)は、厳格な記憶予算の下で分類器を訓練する。
既存のメソッドは静的およびアドホックな戦略を使ってメモリ割り当てを行うが、これはしばしば準最適である。
本稿では,段階的な段階と異なるオブジェクトクラスに最適化された動的メモリ管理戦略を提案する。
論文 参考訳（メタデータ） (2023-01-14T00:07:47Z) - Recurrent Dynamic Embedding for Video Object Segmentation [54.52527157232795]
一定サイズのメモリバンクを構築するためにRDE(Recurrent Dynamic Embedding)を提案する。
本稿では, SAM を長時間の動画でより堅牢にするため, トレーニング段階での無バイアス誘導損失を提案する。
また、メモリバンクの異なる品質のマスクの埋め込みをネットワークが修復できるように、新たな自己補正戦略を設計する。
論文 参考訳（メタデータ） (2022-05-08T02:24:43Z) - Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。
我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文 参考訳（メタデータ） (2020-10-14T09:03:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。