論文の概要: MIGPerf: A Comprehensive Benchmark for Deep Learning Training and
Inference Workloads on Multi-Instance GPUs
- arxiv url: http://arxiv.org/abs/2301.00407v1
- Date: Sun, 1 Jan 2023 14:11:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 16:03:50.546427
- Title: MIGPerf: A Comprehensive Benchmark for Deep Learning Training and
Inference Workloads on Multi-Instance GPUs
- Title（参考訳）: MIGPerf: マルチインスタンスGPU上でのディープラーニングトレーニングと推論ワークロードのための総合ベンチマーク
- Authors: Huaizheng Zhang, Yuanming Li, Wencong Xiao, Yizheng Huang, Xing Di,
Jianxiong Yin, Simon See, Yong Luo, Chiew Tong Lau and Yang You
- Abstract要約: 本稿では,MIGのベンチマーク研究を効率化するオープンソースツールMIGPerfを提案する。
著者らはMIGPerfを用いて、ディープラーニングトレーニングや推論のキャラクタリゼーションを含む一連の実験を行った。
これらの実験の結果は、ユーザがMIGを効果的に活用するための新しい洞察とガイダンスを提供する。
- 参考スコア（独自算出の注目度）: 16.61756921744868
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: New architecture GPUs like A100 are now equipped with multi-instance GPU
(MIG) technology, which allows the GPU to be partitioned into multiple small,
isolated instances. This technology provides more flexibility for users to
support both deep learning training and inference workloads, but efficiently
utilizing it can still be challenging. The vision of this paper is to provide a
more comprehensive and practical benchmark study for MIG in order to eliminate
the need for tedious manual benchmarking and tuning efforts. To achieve this
vision, the paper presents MIGPerf, an open-source tool that streamlines the
benchmark study for MIG. Using MIGPerf, the authors conduct a series of
experiments, including deep learning training and inference characterization on
MIG, GPU sharing characterization, and framework compatibility with MIG. The
results of these experiments provide new insights and guidance for users to
effectively employ MIG, and lay the foundation for further research on the
orchestration of hybrid training and inference workloads on MIGs. The code and
results are released on https://github.com/MLSysOps/MIGProfiler. This work is
still in progress and more results will be published soon.
- Abstract（参考訳）: A100のような新しいアーキテクチャGPUは、マルチインスタンスGPU(MIG)技術を備えており、GPUを複数の小さな独立したインスタンスに分割することができる。
この技術は、ディープラーニングトレーニングと推論ワークロードの両方をサポートするための柔軟性を提供するが、それを効率的に活用することは依然として難しい。
本研究の目的は,手作業によるベンチマークやチューニングの手間を省くため,MIGのより包括的で実用的なベンチマーク研究を行うことである。
このビジョンを達成するために,MIGPのベンチマーク研究を効率化するオープンソースツールであるMIGPerfを提案する。
著者らはMIGPerfを用いて、MIGのディープラーニングトレーニングと推論特性、GPU共有特性、MIGとのフレームワーク互換性など、一連の実験を行った。
これらの実験の結果は、ユーザがMIGを効果的に活用するための新たな洞察とガイダンスを提供し、MIG上でのハイブリッドトレーニングと推論ワークロードのオーケストレーションに関するさらなる研究の基礎を築いた。
コードと結果はhttps://github.com/MLSysOps/MIGProfilerで公開されている。
この作業はまだ進行中であり、さらなる結果が近く公開される予定である。
関連論文リスト
- LIBMoE: A Library for comprehensive benchmarking Mixture of Experts in Large Language Models [7.164238322896674]
emphLibMoEは、MoEアルゴリズムの研究、トレーニング、評価を効率化する包括的なフレームワークである。
LibMoEは、トレーニングと評価パイプラインの標準化によって、大規模な言語モデル(LLM)にMoEを提供する。
論文 参考訳（メタデータ） (2024-11-01T14:04:36Z) - LESEN: Label-Efficient deep learning for Multi-parametric MRI-based
Visual Pathway Segmentation [5.726588626363204]
ラベル効率のよい自己認識型深層学習法(LESEN)を提案する。
LESENは教師なしと教師なしの損失を取り入れ、生徒と教師のモデルが相互に学習できるようにする。
ヒトコネクトームプロジェクト(HCP)のデータセットを用いた実験により,本手法の優れた性能が示された。
論文 参考訳（メタデータ） (2024-01-03T10:22:13Z) - Performance Tuning for GPU-Embedded Systems: Machine-Learning-based and
Analytical Model-driven Tuning Methodologies [0.0]
本研究は,分析モデル駆動型チューニング手法と機械学習(ML)に基づくチューニング手法を紹介する。
NVIDIA JetsonシステムにおけるBPLGライブラリの異なる並列プレフィックス実装のための2つのチューニング手法の性能評価を行った。
論文 参考訳（メタデータ） (2023-10-24T22:09:03Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳（メタデータ） (2023-08-03T07:00:04Z) - LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset,
Framework, and Benchmark [81.42376626294812]
本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。
我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。
本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
論文 参考訳（メタデータ） (2023-06-11T14:01:17Z) - MMG-Ego4D: Multi-Modal Generalization in Egocentric Action Recognition [73.80088682784587]
MMG(Multimodal Generalization)は,特定のモダリティのデータに制限がある場合,あるいは完全に欠落する場合に,システムがどのように一般化できるかを研究することを目的としている。
MMGは2つの新しいシナリオで構成され、現実のアプリケーションにおけるセキュリティと効率の考慮をサポートするように設計されている。
新しい融合モジュールは、モダリティのドロップアウトトレーニング、コントラストベースのアライメントトレーニング、そして新しいクロスモーダル損失により、より優れた数ショット性能を実現した。
論文 参考訳（メタデータ） (2023-05-12T03:05:40Z) - An Analysis of Collocation on GPUs for Deep Learning Training [0.0]
マルチインスタンスGPU(MIG)はNVIDIAが導入した新しい技術で、GPUをより良いワークロードに分割することができる。
本稿では,MIG対応A100 GPUの各種サイズとモデルの組み合わせを含むディープラーニングワークロードにおける性能について検討する。
論文 参考訳（メタデータ） (2022-09-13T14:13:06Z) - Motivating Learners in Multi-Orchestrator Mobile Edge Learning: A
Stackelberg Game Approach [54.28419430315478]
Mobile Edge Learningは、異種エッジデバイス上で機械学習モデルの分散トレーニングを可能にする。
MELでは、十分なトレーニングデータやコンピューティングリソースを入手することなく、トレーニング性能が低下する。
そこで我々は2ラウンドのStackelbergゲームとしてオーケストレータとラーナーの相互作用を定式化するインセンティブ機構を提案する。
論文 参考訳（メタデータ） (2021-09-25T17:27:48Z) - Bringing UMAP Closer to the Speed of Light with GPU Acceleration [28.64858826371568]
UMAPの高速で忠実なGPUバージョンを作るために使用できるテクニックをいくつか紹介する。
これらの設計選択/無数の多くは汎用的であり、GPUを使用するための他のグラフおよび多様体学習アルゴリズムの変換を知らせる可能性がある。
論文 参考訳（メタデータ） (2020-08-01T19:35:56Z) - Families In Wild Multimedia: A Multimodal Database for Recognizing
Kinship [63.27052967981546]
マルチタスク MM キンシップデータセットを初めて公開する。
FIW MMを構築するために,データを自動収集,注釈付け,作成する機構を開発した。
結果は、改善の異なる領域で将来の研究を刺激するエッジケースを強調します。
論文 参考訳（メタデータ） (2020-07-28T22:36:57Z) - Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。
我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
論文 参考訳（メタデータ） (2020-04-28T09:15:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。