論文の概要: Toleo: Scaling Freshness to Tera-scale Memory using CXL and PIM

• arxiv url: http://arxiv.org/abs/2410.12749v1
• Date: Wed, 16 Oct 2024 17:10:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:40:29.725574
• Title: Toleo: Scaling Freshness to Tera-scale Memory using CXL and PIM
• Title（参考訳）: Toleo: CXLとPIMを用いたテラスケールメモリへのフレッシュネスのスケーリング
• Authors: Juechu Dong, Jonah Rosenblum, Satish Narayanasamy,
• Abstract要約: セキュアなCXL IDEネットワークを介して接続された信頼されたスマートメモリを使用して、バージョン番号を安全に保存するToleoを提案する。 Toleoは、信頼の根源としてスマートメモリを使用することで、バージョン番号の完全性を保護するために、スケールできないMerkleツリーを不要にする。 プライバシに敏感なゲノミクス、グラフ、生成AI、データベースワークロードを使用して、Toleoのメリットを分析します。
• 参考スコア（独自算出の注目度）: 1.5721870874398052
• License:
• Abstract: Trusted hardware's freshness guarantee ensures that an adversary cannot replay an old value in response to a memory read request. They rely on maintaining a version number for each cache block and ensuring their integrity using a Merkle tree. However, these existing solutions protect only a small amount of main memory (few MBs), as the extraneous memory accesses to the Merkle tree increase prohibitively with the protected memory size. We present Toleo, which uses trusted smart memory connected through a secure CXL IDE network to safely store version numbers. Toleo eliminates the need for an unscalable Merkle tree to protect the integrity of version numbers by instead using smart memory as the root of trust. Additionally, Toleo ensures version confidentiality which enables stealth versions that reduce the version storage overhead in half. Furthermore, in the absence of Merkle tree imposed constraints, we effectively exploit version locality at page granularity to compress version number by a factor of 240. These space optimizations make it feasible for one 168 GB Toleo smart memory device to provide freshness to a 28 TB CXL-expanded main memory pool in a rack server for a negligible performance overhead. We analyze the benefits of Toleo using several privacy-sensitive genomics, graph, generative AI, and database workloads.
• Abstract（参考訳）: 信頼されたハードウェアの鮮度保証は、敵がメモリ読み取り要求に応じて古い値を再生できないことを保証します。 彼らは各キャッシュブロックのバージョン番号を維持し、Merkleツリーを使用してその整合性を確保することに頼っている。 しかし、これらの既存のソリューションは、マークルツリーへの外部メモリアクセスが保護されたメモリサイズで禁止的に増加するため、少数のメインメモリ(数MBs)しか保護しない。 セキュアなCXL IDEネットワークを介して接続された信頼されたスマートメモリを使用して、バージョン番号を安全に保存するToleoを提案する。 Toleoは、信頼の根源としてスマートメモリを使用することで、バージョン番号の完全性を保護するために、スケールできないMerkleツリーを不要にする。 さらに、Teleoはバージョン機密を保証することで、バージョンストレージのオーバーヘッドを半分に抑えるステルスバージョンを可能にする。 さらに,メルクルツリーの制約がない場合には,ページの粒度におけるバージョン局所性を効果的に活用し,バージョン番号を240の係数で圧縮する。 これらの空間最適化により、168GBのToleoスマートメモリデバイスがラックサーバ内の28TB CXL拡張メインメモリプールに鮮度を提供し、性能上のオーバーヘッドを無視できる。 プライバシに敏感なゲノミクス、グラフ、生成AI、データベースワークロードを使用して、Toleoのメリットを分析します。

関連論文リスト

• HeadInfer: Memory-Efficient LLM Inference by Head-wise Offloading [79.38548165722229]
  HEADINFERはKVキャッシュをCPURAMにオフロードするが、GPU上のトランスフォーマー層のKVキャッシュを完全に保存する必要はない。 HEADINFERはメモリフットプリントを大幅に削減し,計算効率を向上することを示した。
  論文  参考訳（メタデータ） (2025-02-18T06:26:05Z)
• CSR:Achieving 1 Bit Key-Value Cache via Sparse Representation [63.65323577445951]
  キャッシュスパース表現(CSR)と呼ばれる新しい手法を提案する。 CSRは、密度の高いKey-Valueキャッシュテンソルをスパースインデックスとウェイトに変換し、LLM推論中によりメモリ効率のよい表現を提供する。 我々の実験は、CSRが最先端KVキャッシュ量子化アルゴリズムに匹敵する性能を達成することを示した。
  論文  参考訳（メタデータ） (2024-12-16T13:01:53Z)
• Blindfold: Confidential Memory Management by Untrusted Operating System [1.4801853435122903]
  既存の Confidential Computing (CC) ソリューションは、OSから機密メモリを隠蔽し、秘密性を達成するために暗号化する。 本稿では,Blindfold というCC設計で合成したこれらの制限を克服するための実験結果について述べる。 Blindfoldは、Guardianと呼ばれるカーネルよりも高い特権レベルで実行される、小さな信頼できるソフトウェアコンポーネントに依存している。
  論文  参考訳（メタデータ） (2024-12-02T02:40:05Z)
• BitStack: Any-Size Compression of Large Language Models in Variable Memory Environments [53.71158537264695]
  大規模言語モデル(LLM)は、多くのアプリケーションに革命をもたらしたが、ローカルデバイスにおけるメモリ制限により、その展開は依然として困難である。 textbfBitStackは,メモリ使用量とモデル性能のトレードオフを可能にする,新しいトレーニング不要な重み圧縮手法である。
  論文  参考訳（メタデータ） (2024-10-31T13:26:11Z)
• RMem: Restricted Memory Banks Improve Video Object Segmentation [26.103189475763998]
  ビデオオブジェクトセグメンテーション(VOS)ベンチマークは、挑戦的なシナリオへと進化している。 我々は、メモリバンクのサイズを制限するという、単純だが見過ごされた戦略を再考する。 メモリバンクを限られた数の必須フレームに制限することにより、VOSの精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-06-12T17:59:04Z)
• rCanary: Detecting Memory Leaks Across Semi-automated Memory Management Boundary in Rust [4.616001680122352]
  Rustはコンパイル時の検証を通じてメモリ安全性を保証するシステムプログラミング言語である。 本稿では,半自動境界を越えたリークを検出する静的,非自動,完全自動モデルチェッカーであるrCanaryを提案する。
  論文  参考訳（メタデータ） (2023-08-09T08:26:04Z)
• XMem: Long-Term Video Object Segmentation with an Atkinson-Shiffrin Memory Model [137.50614198301733]
  機能記憶を統一した長ビデオのためのビデオオブジェクトセグメンテーションアーキテクチャであるXMemを提案する。 独立して深く接続された複数の機能記憶を組み込んだアーキテクチャを開発する。 XMemは、ロングビデオデータセットにおける最先端のパフォーマンスを大幅に上回る。
  論文  参考訳（メタデータ） (2022-07-14T17:59:37Z)
• Recurrent Dynamic Embedding for Video Object Segmentation [54.52527157232795]
  一定サイズのメモリバンクを構築するためにRDE(Recurrent Dynamic Embedding)を提案する。 本稿では, SAM を長時間の動画でより堅牢にするため, トレーニング段階での無バイアス誘導損失を提案する。 また、メモリバンクの異なる品質のマスクの埋め込みをネットワークが修復できるように、新たな自己補正戦略を設計する。
  論文  参考訳（メタデータ） (2022-05-08T02:24:43Z)
• Hierarchical Memory Matching Network for Video Object Segmentation [38.24999776705497]
  本稿では,時間的スムーズさを活用しながら,複数スケールのメモリ実行を可能にする2つの高度なメモリ読み取りモジュールを提案する。 まず,非局所的な高密度メモリ読み出しを代替するガイド付きメモリマッチングモジュールを提案する。 階層型メモリマッチング方式を導入し、大小のメモリを粗大のメモリで読み取るトップkガイド型メモリマッチングモジュールを提案する。
  論文  参考訳（メタデータ） (2021-09-23T14:36:43Z)
• Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
  エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。 我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。 この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2021-02-20T18:40:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。