論文の概要: Plenty of Room in the Middle: Revealing Opportunities on a GPU Cluster via Fine-Grained Monitoring
- arxiv url: http://arxiv.org/abs/2610.36329v1
- Date: Mon, 26 Oct 2026 21:56:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.439526
- Title: Plenty of Room in the Middle: Revealing Opportunities on a GPU Cluster via Fine-Grained Monitoring
- Title（参考訳）: 中間の部屋の多さ:細粒度モニタリングによるGPUクラスタ上の機会の探索
- Abstract要約: 本稿では,100ms間隔で資源使用量を分析し,大学研究用GPUクラスタの詳細な研究を行う。
我々はNvidiaのDCGMライブラリを活用して、詳細な"計算利用"メトリクスをキャプチャする軽量なモニタリングツールを開発した。
- 参考スコア（独自算出の注目度）: 6.967710669987792
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: GPU clusters have become essential computing resources for AI and scientific research in academia and industry. However, their high cost and growing demand often result in long queueing delays. While previous monitoring efforts have operated at second- or minute-level frequencies, they primarily informed job-level scheduling for clusters and lacked the detail needed to optimize GPU-level utilization. This paper presents an in-depth study of a university research GPU cluster, analyzing resource usage at 100 ms intervals. We have developed a lightweight monitoring tool that leverages Nvidia's DCGM library to capture fine-grained "compute utilization" metrics within GPUs. Deployed on a cluster with 89 nodes and 319 GPUs, our tool collected data over several months. This paper focuses on a 10-day period with 7,399 jobs submitted by 150 users from 12 departments. Our study reveals three key findings: (1) the GPU cluster exhibits significant underutilization, with over 70% of jobs using less than 20% of GPU memory and 50% averaging below 5% Streaming Multiprocessor (SM) utilization; (2) 80% of jobs have a drastic mismatch between their requested and actual durations, significantly limiting the scheduler's effectiveness; and (3) the multi-GPU jobs we examined show highly periodic communication patterns. These findings suggest there is plenty of room in the middle: substantial utilization gains are available through better job scheduling and GPU multitasking, independent of hardware or application improvements. Our monitoring solution is available as open-source software at https://github.com/als244/gpu_server_monitoring.
- Abstract（参考訳）: GPUクラスタは、学術と産業におけるAIと科学研究に不可欠なコンピューティングリソースとなっている。
しかし、その高いコストと需要の増加は、長い待ち行列の遅延をもたらすことが多い。
これまでの監視作業は、秒単位または分単位の周波数で動作するが、彼らは主にクラスタのジョブレベルのスケジューリングを通知し、GPUレベルの利用を最適化するために必要な詳細を欠いていた。
本稿では,100ms間隔で資源使用量を分析し,大学研究用GPUクラスタの詳細な研究を行う。
我々はNvidiaのDCGMライブラリを活用して、GPU内の詳細な"計算利用"メトリクスをキャプチャする軽量なモニタリングツールを開発した。
89ノードと319のGPUを備えたクラスタにデプロイされた当社のツールは、数ヶ月にわたってデータを収集しました。
本論文は,12部門から150名のユーザから7,399名のジョブが提出された10日間の期間に焦点を当てる。
1)GPUクラスタの70%以上がGPUメモリの20%未満を使用し、50%がストリーミングマルチプロセッサ(SM)の利用率以下であること,(2)ジョブの80%が要求された時間と実際の時間の間に大きなミスマッチがあり,スケジューラの有効性が著しく制限されていること,(3)調査したマルチGPUジョブが高度に周期的な通信パターンを示したこと,の3つの重要な結果が得られた。
かなりの利用率の向上は、より優れたジョブスケジューリングとGPUマルチタスクによって実現されており、ハードウェアやアプリケーションの改善とは無関係である。
私たちのモニタリングソリューションはhttps://github.com/als244/gpu_server_monitoring.comでオープンソースソフトウェアとして利用可能です。
関連論文リスト
- GPU Forecasters: Language Models as Selective Surrogates for Kernel Runtime Optimization [73.92934811090163]
カーネル評価のための選択的なGPUサロゲートとしてLLMがどのように機能するかを検討する。
限られたGPU測定予算下での高速カーネルの復旧に,その予測が正確で校正され,実用的に有用であるかどうかを計測する。
実験により,LLMは相対的なカーネル性能を正確に予測し,強化学習により性能を向上できることを示した。
論文 参考訳（メタデータ） (2026-05-29T15:56:08Z) - A Practical Two-Stage Framework for GPU Resource and Power Prediction in Heterogeneous HPC Systems [0.41942958779358674]
我々は、VASP(Venture ab initio Simulation Package)の消費電力だけでなく、GPU利用とGPUメモリ利用の分析を行う。
VASPは、NERSCのPerlmutter上で広く使われている材料科学アプリケーションである。
異種HPCシステムアプリケーションの平均GPUパワー、最大GPU利用率、最大GPUメモリ利用率を予測するためのリソース予測フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-02T15:27:09Z) - GPU-Accelerated Algorithms for Graph Vector Search: Taxonomy, Empirical Study, and Research Directions [54.570944939061555]
本稿では,GPU加速グラフに基づくベクトル探索アルゴリズムについて包括的に研究する。
我々は、GPU最適化戦略の詳細な分類を確立し、アルゴリズムタスクとハードウェア実行ユニット間のマッピングを明確にする。
我々の発見は、スケーラブルで堅牢なGPUベースの近接検索システムを設計するための明確なガイドラインを提供する。
論文 参考訳（メタデータ） (2026-02-10T16:18:04Z) - Semantic-Aware Scheduling for GPU Clusters with Large Language Models [60.14838697778884]
我々は、スケジューラと管理するジョブ間のセマンティックギャップを橋渡しするフレームワークであるSchedMateを提案する。
SchedMateは見過ごされ、構造化されていないデータソース(ソースコード、ランタイムログ、履歴ジョブ)から深い洞察を抽出する。
我々は、SchedMateが平均ジョブ完了時間を最大1.91倍に短縮し、スケジューリング性能を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2025-10-02T02:01:02Z) - Hierarchical Resource Partitioning on Modern GPUs: A Reinforcement Learning Approach [1.076745840431781]
本稿では,階層的分割のセットアップと,与えられたジョブ集合からの協調スケジューリンググループの選択を包括的に協調する手法を提案する。
これにより、時間共有スケジューリングに比べて最大スループットが1.87倍向上する。
論文 参考訳（メタデータ） (2024-05-14T16:40:06Z) - FusionAI: Decentralized Training and Deploying LLMs with Massive
Consumer-Level GPUs [57.12856172329322]
我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。
このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
論文 参考訳（メタデータ） (2023-09-03T13:27:56Z) - A Study on the Intersection of GPU Utilization and CNN Inference [8.084016058894779]
我々は、畳み込みニューラルネットワーク(CNN)の推論時GPU利用を改善する余地があることを示す。
我々は、CNNの推論時GPU利用を改善する余地があり、GPU利用に関する知識は、利用自体をターゲットとしないアプリケーションでさえも恩恵を受ける可能性があることを論じる。
論文 参考訳（メタデータ） (2022-12-15T16:11:40Z) - Synergy: Resource Sensitive DNN Scheduling in Multi-Tenant Clusters [10.38396444951436]
深層ニューラルネットワーク(DNN)のトレーニングは、企業とクラウドデータセンターの両方で広く使われているワークロードである。
共有GPUクラスタのためのリソースセンシティブなスケジューラであるSynergyを提案する。
実験の結果,従来のGPUに比例したスケジューリングに比べて,負荷対応のCPUとメモリアロケーションは平均JCTを3.4倍改善できることがわかった。
論文 参考訳（メタデータ） (2021-10-12T15:25:54Z) - Providing Meaningful Data Summarizations Using Examplar-based Clustering
in Industry 4.0 [67.80123919697971]
我々は,従来のCPUアルゴリズムと比較して,一精度で最大72倍,半精度で最大452倍の高速化を実現していることを示す。
提案アルゴリズムは射出成形プロセスから得られた実世界のデータに適用し, 得られたサマリーが, コスト削減と不良部品製造の削減のために, この特定のプロセスのステアリングにどのように役立つかについて議論する。
論文 参考訳（メタデータ） (2021-05-25T15:55:14Z) - RTGPU: Real-Time GPU Scheduling of Hard Deadline Parallel Tasks with
Fine-Grain Utilization [5.02836935036198]
本論文では,複数のGPUアプリケーションの実行をリアルタイムにスケジュール可能なRTGPUを提案する。
提案手法は,従来の作業に比べてスケジューリング性に優れ,複数のGPUアプリケーションに厳しい期限をリアルタイムに保証する。
論文 参考訳（メタデータ） (2021-01-25T22:34:06Z) - Faster than FAST: GPU-Accelerated Frontend for High-Speed VIO [46.20949184826173]
この研究は、既存のコンピュータビジョンアルゴリズムを改善するために、効率的な低レベルGPUハードウェア固有の命令の適用性に焦点を当てている。
特に、非マックス抑圧とその後の特徴選択は、全体的な画像処理遅延への顕著な寄与である。
論文 参考訳（メタデータ） (2020-03-30T14:16:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。