論文の概要: CARMA: Collocation-Aware Resource Manager with GPU Memory Estimator

• arxiv url: http://arxiv.org/abs/2508.19073v1
• Date: Tue, 26 Aug 2025 14:29:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-27 17:42:38.882959
• Title: CARMA: Collocation-Aware Resource Manager with GPU Memory Estimator
• Title（参考訳）: CARMA:GPUメモリ推定器を備えたコロケーション対応リソースマネージャ
• Authors: Ehsan Yousefzadeh-Asl-Miandoab, Reza Karimzadeh, Bulat Ibragimov, Florina M. Ciorba, Pınar Tözün,
• Abstract要約: GPUはディープラーニング(DL)トレーニングのコアとなる計算リソースである。 GPU上のDLタスクのコロケーションは、続くタスクのメモリ外クラッシュと、リソースの干渉によるGPUを共有するすべてのタスクのスローダウンをもたらす可能性がある。 サーバスケールのタスクレベルのコロケーション対応リソース管理システムであるCARMAを提案する。
• 参考スコア（独自算出の注目度）: 5.998463702026698
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Studies conducted on enterprise-scale infrastructure have shown that GPUs -- the core computational resource for deep learning (DL) training -- are often significantly underutilized. DL task collocation on GPUs is an opportunity to address this challenge. However, it may result in (1) out-of-memory crashes for the subsequently arriving task and (2) slowdowns for all tasks sharing the GPU due to resource interference. The former challenge poses a threat to robustness, while the latter affects the quality of service and energy efficiency. We propose CARMA, a server-scale task-level collocation-aware resource management system that handles both collocation challenges. CARMA encompasses GPUMemNet, a novel ML-based GPU memory estimator framework for DL training tasks, to minimize out-of-memory errors and introduces collocation policies that cap GPU utilization to minimize interference. Furthermore, CARMA introduces a recovery method to ensure robust restart of tasks that crash. Our evaluation on traces modeled after real-world DL training task traces shows that CARMA increases the GPU utilization over time by 39.3\%, decreases the end-to-end execution time by $\sim$26.7\%, and reduces the GPU energy use by $\sim$14.2\%.
• Abstract（参考訳）: エンタープライズ規模のインフラで実施された研究によると、ディープラーニング(DL)トレーニングのコアとなる計算リソースであるGPUは、しばしば著しく不使用であることが示されている。 GPU上のDLタスクのコロケーションはこの課題に対処する機会である。 しかし、これは(1)次のタスクのメモリ外クラッシュ、(2)リソースの干渉によるGPUを共有するすべてのタスクのスローダウンをもたらす可能性がある。 前者の課題は堅牢性への脅威であり、後者はサービスの品質とエネルギー効率に影響を与える。 サーバスケールのタスクレベルのコロケーションを意識したリソース管理システムであるCARMAを提案する。 CARMAには、新しいMLベースのDLトレーニングタスク用のGPUメモリ推定フレームワークであるGPUMemNetが含まれており、メモリ外エラーを最小限に抑え、干渉を最小限に抑えるためにGPU利用を制限できるコロケーションポリシーを導入している。 さらに、CARMAはクラッシュするタスクの堅牢な再起動を保証するリカバリ手法を導入している。 実世界のDLトレーニングタスクトレースをモデルとしたトレース評価では、CARMAは時間の経過とともにGPUの利用量を39.3倍にし、エンドツーエンドの実行時間を26.7倍に削減し、GPUエネルギー使用量を14.2倍に削減している。

関連論文リスト

• MemSifter: Offloading LLM Memory Retrieval via Outcome-Driven Proxy Reasoning [78.46301394559903]
  大きな言語モデル(LLM)は、長期化タスクにますます使われています。 現在の手法はコストと精度のトレードオフに直面している。 MemSifterは、メモリ検索プロセスを小さなプロキシモデルにオフロードする新しいフレームワークである。
  論文  参考訳（メタデータ） (2026-03-03T02:57:38Z)
• WarmServe: Enabling One-for-Many GPU Prewarming for Multi-LLM Serving [17.92164698813269]
  既存のマルチLLMサービスシステムは、より悪い推論性能でGPUの利用を最適化する。 我々は、将来のワークロードに関する知識を積んだモデルを読み込む1対多のGPUプリワームを可能にするために、普遍的なGPUワーカーを提案する。 WarmServeは、最先端のオートスケーリングベースのシステムと比較して、TTFTを最大50.8$timesで改善する。
  論文  参考訳（メタデータ） (2025-12-10T09:47:40Z)
• xMem: A CPU-Based Approach for Accurate Estimation of GPU Memory in Deep Learning Training Workloads [2.2991119948183525]
  ジョブがどれだけのGPUメモリを必要とするかを推定することは、高度なスケジューリングとGPUの共有を可能にするための基本となる。 我々は、CPUのみの動的解析を利用してGPUメモリのピーク要求を正確に推定する新しいフレームワークであるxMemを提案する。 ANOVAとMonte Carloの結果を含む5209実行の解析は、xMemのメリットを強調している。
  論文  参考訳（メタデータ） (2025-10-23T23:16:27Z)
• Semantic-Aware Scheduling for GPU Clusters with Large Language Models [60.14838697778884]
  我々は、スケジューラと管理するジョブ間のセマンティックギャップを橋渡しするフレームワークであるSchedMateを提案する。 SchedMateは見過ごされ、構造化されていないデータソース(ソースコード、ランタイムログ、履歴ジョブ)から深い洞察を抽出する。 我々は、SchedMateが平均ジョブ完了時間を最大1.91倍に短縮し、スケジューリング性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2025-10-02T02:01:02Z)
• NGPU-LM: GPU-Accelerated N-Gram Language Model for Context-Biasing in Greedy ASR Decoding [54.88765757043535]
  この研究は、統計的なn-gram言語モデルのデータ構造を再考し、GPU最適化推論の高速かつ並列な操作を可能にする。 我々のアプローチは NGPU-LM と呼ばれ、7% 未満の計算オーバーヘッドを持つ全ての主要な ASR モデルに対して、カスタマイズ可能なgreedy decoding を導入している。 提案手法は,ビーム探索による顕著な遅延を回避しつつ,greedy と beam search の精度ギャップの50%以上を排除できる。
  論文  参考訳（メタデータ） (2025-05-28T20:43:10Z)
• SpecOffload: Unlocking Latent GPU Capacity for LLM Inference on Resource-Constrained Devices [16.407669822378487]
  SpecOffloadは投機的デコーディングをオフロードに埋め込む。 最高のベースラインと比較して、SpecOffloadはGPUコアの利用率を4.49倍改善し、推論スループットを2.54倍向上させた。
  論文  参考訳（メタデータ） (2025-05-15T13:10:31Z)
• Accurate GPU Memory Prediction for Deep Learning Jobs through Dynamic Analysis [0.3867363075280544]
  メモリ外エラーは、モデルトレーニングと効率的なリソース利用にとって主要な障害となる。 VeritasEstは完全にCPUベースの分析ツールで、ディープラーニングのトレーニングタスクに必要なピークGPUメモリを正確に予測することができる。 その性能は、畳み込みニューラルネットワーク(CNN)モデルにわたる数千の実験的な実行を通じて検証された。
  論文  参考訳（メタデータ） (2025-04-04T19:20:03Z)
• DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
  実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。 活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。 DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
  論文  参考訳（メタデータ） (2024-11-04T18:26:08Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)
• EVEREST: Efficient Masked Video Autoencoder by Removing Redundant Spatiotemporal Tokens [57.354304637367555]
  ビデオ表現学習のための驚くほど効率的なMVAアプローチであるEVERESTを提案する。 リッチなモーション特徴を含むトークンを発見し、事前トレーニングと微調整の両方の間、非形式的なトークンを破棄する。 提案手法は,MVAの計算とメモリ要求を大幅に低減する。
  論文  参考訳（メタデータ） (2022-11-19T09:57:01Z)
• NumS: Scalable Array Programming for the Cloud [82.827921577004]
  タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。 これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。 LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
  論文  参考訳（メタデータ） (2022-06-28T20:13:40Z)
• ETAD: A Unified Framework for Efficient Temporal Action Detection [70.21104995731085]
  時間的行動検出(TAD)のようなトリミングされていないビデオ理解は、しばしば計算資源に対する膨大な需要の苦痛に悩まされる。 我々は、効率的なエンド・ツー・エンドの時間的行動検出(ETAD)のための統合されたフレームワークを構築している。 ETADはTHUMOS-14とActivityNet-1.3の両方で最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-05-14T21:16:21Z)
• Synergy: Resource Sensitive DNN Scheduling in Multi-Tenant Clusters [10.38396444951436]
  深層ニューラルネットワーク(DNN)のトレーニングは、企業とクラウドデータセンターの両方で広く使われているワークロードである。 共有GPUクラスタのためのリソースセンシティブなスケジューラであるSynergyを提案する。 実験の結果,従来のGPUに比例したスケジューリングに比べて,負荷対応のCPUとメモリアロケーションは平均JCTを3.4倍改善できることがわかった。
  論文  参考訳（メタデータ） (2021-10-12T15:25:54Z)
• TENSILE: A Tensor granularity dynamic GPU memory scheduler method towards multiple dynamic workloads system [9.86589655261934]
  TENSILEは、GPUメモリピークを減らすために、テンソル粒度でGPUメモリを管理する方法である。 我々は、自身のディープラーニングフレームワークにTENSILEを実装し、その性能を評価した。
  論文  参考訳（メタデータ） (2021-05-27T17:46:16Z)
• Faster than FAST: GPU-Accelerated Frontend for High-Speed VIO [46.20949184826173]
  この研究は、既存のコンピュータビジョンアルゴリズムを改善するために、効率的な低レベルGPUハードウェア固有の命令の適用性に焦点を当てている。 特に、非マックス抑圧とその後の特徴選択は、全体的な画像処理遅延への顕著な寄与である。
  論文  参考訳（メタデータ） (2020-03-30T14:16:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。