論文の概要: GPU-Virt-Bench: A Comprehensive Benchmarking Framework for Software-Based GPU Virtualization Systems
- arxiv url: http://arxiv.org/abs/2512.22125v1
- Date: Wed, 26 Nov 2025 09:42:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-25 16:54:51.454351
- Title: GPU-Virt-Bench: A Comprehensive Benchmarking Framework for Software-Based GPU Virtualization Systems
- Title（参考訳）: GPU-Virt-Bench: ソフトウェアベースのGPU仮想化システムのための総合ベンチマークフレームワーク
- Authors: Jithin VG, Ditto PS,
- Abstract要約: GPU-Virt-Benchは、56のパフォーマンスメトリクスにわたるGPU仮想化システムを評価する包括的なベンチマークフレームワークである。
HAMIコア, BUD-FCSP, シミュレーションMIGベースラインの評価により, フレームワークの有用性を実証する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The proliferation of GPU-accelerated workloads, particularly in artificial intelligence and large language model (LLM) inference, has created unprecedented demand for efficient GPU resource sharing in cloud and container environments. While NVIDIA's Multi-Instance GPU (MIG) technology provides hardware-level isolation, its availability is limited to high-end datacenter GPUs. Software-based virtualization solutions such as HAMi-core and BUD-FCSP offer alternatives for broader GPU families but lack standardized evaluation methodologies. We present GPU-Virt-Bench, a comprehensive benchmarking framework that evaluates GPU virtualization systems across 56 performance metrics organized into 10 categories. Our framework measures overhead, isolation quality, LLM-specific performance, memory bandwidth, cache behavior, PCIe throughput, multi-GPU communication, scheduling efficiency, memory fragmentation, and error recovery. GPU-Virt-Bench enables systematic comparison between software virtualization approaches and ideal MIG behavior, providing actionable insights for practitioners deploying GPU resources in multi-tenant environments. We demonstrate the framework's utility through evaluation of HAMi-core, BUD-FCSP, and simulated MIG baselines, revealing performance characteristics critical for production deployment decisions.
- Abstract（参考訳）: GPUが加速するワークロードの急増、特に人工知能と大規模言語モデル(LLM)推論は、クラウドやコンテナ環境での効率的なGPUリソース共有に対する前例のない需要を生み出している。
NVIDIAのMulti-Instance GPU(MIG)技術はハードウェアレベルの分離を提供するが、可用性はハイエンドのデータセンタGPUに限られている。
HAMi-coreやBUD-FCSPといったソフトウェアベースの仮想化ソリューションは、より広範なGPUファミリー向けの代替手段を提供するが、標準化された評価手法は欠如している。
GPU-Virt-Benchは、56のパフォーマンス指標を10のカテゴリに分けて、GPU仮想化システムを評価する包括的なベンチマークフレームワークである。
本フレームワークは,オーバヘッド,アイソレーション品質,LCM固有の性能,メモリ帯域幅,キャッシュ動作,PCIeスループット,マルチGPU通信,スケジューリング効率,メモリ断片化,エラー回復を計測する。
GPU-Virt-Benchは、ソフトウェア仮想化アプローチと理想的なMIG動作の体系的な比較を可能にし、GPUリソースをマルチテナント環境にデプロイする実践者に対して実行可能な洞察を提供する。
HAMIコア, BUD-FCSP, シミュレーションMIGベースラインの評価により, 本フレームワークの実用性を実証し, 製品展開決定に不可欠な性能特性を明らかにした。
関連論文リスト
- Multi-GPU Quantum Circuit Simulation and the Impact of Network Performance [0.7340017786387767]
我々は、HPCシステム上でのベンチマークを容易にするため、QED-C Application-Oriented BenchmarksにMPIを導入する。
我々は最近のNVIDIA Grace Blackwell NVL72アーキテクチャを含む様々な相互接続パスを用いてベンチマークを行った。
GPUアーキテクチャの改善は4.5倍以上のスピードアップにつながったが、相互接続性能の進歩は16倍以上のパフォーマンス改善によるソリューションのソリューション化に大きな影響を与えている。
論文 参考訳（メタデータ） (2025-11-18T17:04:28Z) - AIvailable: A Software-Defined Architecture for LLM-as-a-Service on Heterogeneous and Legacy GPUs [0.5863360388454261]
低コストで高可用性のLLM-as-a-Service(LLM)プラットフォームであるAIvailableを紹介します。
ソフトウェア定義のアプローチを使用して、異種およびレガシGPUノード上でLLMを実行する。
統合されたクライアントインターフェースを備えており、すべてのデプロイされたLLMとのシームレスなインタラクションを可能にします。
論文 参考訳（メタデータ） (2025-11-06T14:19:57Z) - Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。
我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。
BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
論文 参考訳（メタデータ） (2025-11-04T01:15:44Z) - Investigating Matrix Repartitioning to Address the Over- and Undersubscription Challenge for a GPU-based CFD Solver [0.688204255655161]
既存のアプローチは、完全にあるいはプラグインベースのGPUソルバを使用しており、それぞれがパフォーマンスと開発努力のトレードオフに直面している。
本稿では、CPU行列アセンブリとGPUベースの線形解のバランスを改善するための分割戦略を提案する。
提案手法は, オーバーサブスクライブ問題を大幅に軽減し, ソルバ性能の向上と資源利用率の向上を図っている。
論文 参考訳（メタデータ） (2025-10-09T17:53:12Z) - MoE-Lens: Towards the Hardware Limit of High-Throughput MoE LLM Serving Under Resource Constraints [7.287566040274871]
MoE-Lensは、リソース制約のある環境に対する総合的なパフォーマンスモデリングによって設計された推論システムである。
システム実行メカニズムをキャプチャして、重要なハードウェアボトルネックを特定し、達成可能なスループットを正確に予測します。
多様なMoEモデルとデータセットに基づいて評価され、MoE-Lensは最先端のソリューションを平均で4.6倍(最大25.5倍)上回る。
論文 参考訳（メタデータ） (2025-04-12T21:26:56Z) - FusionAI: Decentralized Training and Deploying LLMs with Massive
Consumer-Level GPUs [57.12856172329322]
我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。
このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
論文 参考訳（メタデータ） (2023-09-03T13:27:56Z) - FLEdge: Benchmarking Federated Machine Learning Applications in Edge Computing Systems [61.335229621081346]
フェデレートラーニング(FL)は,ネットワークエッジ上での分散ディープラーニングのプライバシ強化を実現する上で,有効なテクニックとなっている。
本稿では,既存のFLベンチマークを補完するFLEdgeを提案する。
論文 参考訳（メタデータ） (2023-06-08T13:11:20Z) - Virtualization of Tiny Embedded Systems with a robust real-time capable
and extensible Stack Virtual Machine REXAVM supporting Material-integrated
Intelligent Systems and Tiny Machine Learning [0.0]
本稿では,動作に等価なソフトウェアとハードウェア(FPGA)の実装において,提案するVMアーキテクチャの適合性を示し,評価する。
全体的なアーキテクチャアプローチでは、VMは特にデジタル信号処理と小さな機械学習に対処する。
論文 参考訳（メタデータ） (2023-02-17T17:13:35Z) - PLSSVM: A (multi-)GPGPU-accelerated Least Squares Support Vector Machine [68.8204255655161]
Support Vector Machines (SVM) は機械学習で広く使われている。
しかし、現代的で最適化された実装でさえ、最先端ハードウェア上の大きな非自明な高密度データセットにはうまくスケールしない。
PLSSVMはLVMのドロップイン代替として使用できる。
論文 参考訳（メタデータ） (2022-02-25T13:24:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。