論文の概要: EMA: Elastic and Performance Transparent Memory Across GPUs

• arxiv url: http://arxiv.org/abs/2609.27040v1
• Date: Tue, 22 Sep 2026 20:35:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.767503
• Title: EMA: Elastic and Performance Transparent Memory Across GPUs
• Title（参考訳）: EMA:GPU間の弾力性とパフォーマンスの透過的なメモリ
• Abstract要約: サーバ内のGPUが相互にメモリを借りて再利用することを可能にするメモリ共有システムであるEMAを提案する。 借り手にとって、プレフェッチはリモートアクセスコストを隠蔽し、アプリケーションがパフォーマンスにおいて区別できないようなリモートメモリとローカルメモリを体験できるようにする。 評価の結果,EMAは個々のユーザのスループットを最大52%向上させ,2倍の容量でプロビジョニングされたシステムのスループットの96%を達成し,静的なローカルベースラインと同様のレイテンシを維持できることがわかった。
• 参考スコア（独自算出の注目度）: 37.09608948629543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-GPU servers have become the standard building block of modern data centers, providing aggregated capacity through high-bandwidth interconnects. At the same time, workloads such as LLM inference exhibit highly dynamic memory demands, which can cause one GPU to exhaust its local memory while others remain underutilized. This mismatch motivates a model of elastic resource sharing across GPUs. We present EMA, a memory sharing system that allows GPUs within a server to borrow and reclaim memory from each other, forming an elastic pool of capacity. EMA ensures performance transparency for both borrowers and lenders. For borrowers, prefetching hides remote access costs so that applications experience remote and local memory as indistinguishable in performance. For lenders, borrowed resources remain reclaimable on demand, guaranteeing that performance never falls below that of static partitioning. While our design focuses on memory, the same principle naturally extends to other GPU resources. Our evaluation shows that EMA improves individual user throughput by up to 52%, achieves 96% of the throughput of a system provisioned with 2X capacity, and maintains latency similar to the static local baseline.
• Abstract（参考訳）: マルチGPUサーバは現代のデータセンターの標準ビルディングブロックとなり、高帯域の相互接続を通じて集約された容量を提供する。 同時に、LLM推論のようなワークロードは、非常にダイナミックなメモリ要求を示すため、あるGPUがそのローカルメモリを消費し、他のGPUは未使用のままにすることができる。 このミスマッチは、GPU間でのエラスティックリソース共有のモデルである。 本稿では,サーバ内のGPUが相互にメモリを借りて再利用できるメモリ共有システムであるEMAについて述べる。 EMAは借り手と貸し手の両方のパフォーマンスの透明性を保証する。 借り手にとって、プレフェッチはリモートアクセスコストを隠蔽し、アプリケーションがパフォーマンスにおいて区別できないようなリモートメモリとローカルメモリを体験できるようにする。 貸し手にとって、借用されたリソースは需要に応じて再利用可能であり、静的パーティショニングよりもパフォーマンスが低下しないことを保証する。 私たちの設計ではメモリに重点を置いていますが、同じ原則が他のGPUリソースにも自然に適用されています。 評価の結果,EMAは個々のユーザのスループットを最大52%向上させ,2倍の容量でプロビジョニングされたシステムのスループットの96%を達成し,静的なローカルベースラインと同様のレイテンシを維持できることがわかった。

関連論文リスト

• BOOST: Concurrent Access to Host Memory and HBM to Accelerate LLM Inference [4.541644436972608]
  GPUメモリシステムは、ハイバンド幅メモリ(HBM)の第1層と、CPU-GPU相互接続を介して接続されるホストメモリの第2層で構成されている。 現在のサービスシステムは階層的に扱うもので、データが適合する時点から、それ以外は使用前のホストメモリからティアへのデータをプリフェッチする。 BOOSTは,GPUメモリ層の両方に並列アクセスと比例アクセスを提供する,最初のシステムランタイムである。
  論文  参考訳（メタデータ） (2026-09-11T23:02:24Z)
• MemGym: a Long-Horizon Memory Environment for LLM Agents [69.79226770543049]
  本稿では,エージェントメモリのベンチマークであるMemGymを紹介する。 MemGymは、メモリパフォーマンスを推論、検索、ツール使用能力から切り離すメモリアイソレーションスコアを報告している。 MEMGYM-CODEQAとMEMGYM-DRの合成パイプラインは、長さ制御可能であり、各ステージでアブレーションを検証可能であり、下流のシナリオと密に整合している。
  論文  参考訳（メタデータ） (2026-05-20T07:25:33Z)
• WarmServe: Enabling One-for-Many GPU Prewarming for Multi-LLM Serving [17.92164698813269]
  既存のマルチLLMサービスシステムは、より悪い推論性能でGPUの利用を最適化する。 我々は、将来のワークロードに関する知識を積んだモデルを読み込む1対多のGPUプリワームを可能にするために、普遍的なGPUワーカーを提案する。 WarmServeは、最先端のオートスケーリングベースのシステムと比較して、TTFTを最大50.8$timesで改善する。
  論文  参考訳（メタデータ） (2025-12-10T09:47:40Z)
• MemLoRA: Distilling Expert Adapters for On-Device Memory Systems [71.32550994522738]
  メモリ拡張大言語モデル(LLM)は対話中に顕著な一貫性を示す。 MemLoRAは、小さなVision-Language Modelを統合する新しいメモリシステムである。 VLM統合MemLoRA-Vはキャプションベースのアプローチで大幅に改善されている。
  論文  参考訳（メタデータ） (2025-12-04T12:56:30Z)
• Prism: Unleashing GPU Sharing for Cost-Efficient Multi-LLM Serving [28.19296680865433]
  大規模ワークロード(LLM)の実現は、特に言語モデルをホストするプロバイダにとって、コストがかかる。 モデルとその共有による長いアイドル期間の長期的人気は、このタスクに新たな機会と課題を生み出します。 本稿では、GPU共有の可能性を解き放ち、効率とSLO達成を両立させるシステムであるPrismを提案する。
  論文  参考訳（メタデータ） (2025-05-06T23:38:33Z)
• Memory-Efficient Training for Deep Speaker Embedding Learning in Speaker Verification [50.596077598766975]
  資源制約のあるシナリオにおける深層話者埋め込み学習のためのメモリ効率のトレーニング戦略について検討する。 アクティベーションのために、中間アクティベーションを格納する必要がない2種類の可逆ニューラルネットワークを設計する。 状態に対して、元の32ビット浮動小数点値を動的ツリーベースの8ビットデータ型に置き換える動的量子化手法を導入する。
  論文  参考訳（メタデータ） (2024-12-02T06:57:46Z)
• MoE-Lightning: High-Throughput MoE Inference on Memory-constrained GPUs [55.95879347182669]
  MoEアーキテクチャは、推論コストの比例的な増加なしにモデルキャパシティを向上できることで有名である。 MoE-LightningはCPU-GPU-I/OパイプラインスケジュールであるCGOPipeを導入し、ページ重み付けにより高いリソース利用を実現する。 MoE-Lightningは、単一のT4 GPU(16GB)上でMixtral 8x7Bの最先端オフロード可能なLLM推論システムよりも最大10.3倍高いスループットを実現することができる
  論文  参考訳（メタデータ） (2024-11-18T01:06:12Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)
• PARIS and ELSA: An Elastic Scheduling Algorithm for Reconfigurable Multi-GPU Inference Servers [0.9854614058492648]
  NVIDIAのAmpere GPUアーキテクチャは、1つの大きなモノリシックGPUを複数の小さな"GPUパーティション"に"再構成"する機能を提供する。 本稿では,この新しいGPUアーキテクチャを再構成性で検討し,高性能なマルチGPUML推論サーバを開発する。
  論文  参考訳（メタデータ） (2022-02-27T23:30:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。