論文の概要: DEEP-GAP: Deep-learning Evaluation of Execution Parallelism in GPU Architectural Performance

• arxiv url: http://arxiv.org/abs/2604.14552v1
• Date: Thu, 16 Apr 2026 02:32:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.68708
• Title: DEEP-GAP: Deep-learning Evaluation of Execution Parallelism in GPU Architectural Performance
• Title（参考訳）: DEEP-GAP:GPUアーキテクチャ性能における実行並列性のディープラーニング評価
• Authors: Kathiravan Palaniappan,
• Abstract要約: NVIDIA T4 GPUは、ワット当たりの強いパフォーマンスと成熟したソフトウェアサポートのために広くデプロイされている。 後継のNVIDIA L4 GPUでは、Coreスループット、キャッシュ容量、メモリ帯域幅、並列実行能力が改善されている。 この研究は、G-AI方法論をGPU推論に拡張した体系的評価であるDEEP-GAPを紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern datacenters increasingly rely on low-power, single-slot inference accelerators to balance performance, energy efficiency, and rack density constraints. The NVIDIA T4 GPU has become widely deployed due to strong performance per watt and mature software support. Its successor, the NVIDIA L4 GPU, introduces improvements in Tensor Core throughput, cache capacity, memory bandwidth, and parallel execution capability. However, limited empirical evidence quantifies the practical inference performance gap between these two generations under controlled and reproducible conditions. This work introduces DEEP-GAP, a systematic evaluation extending the GDEV-AI methodology to GPU inference. Using identical configurations and workloads, we evaluate ResNet18, ResNet50, and ResNet101 across FP32, FP16, and INT8 precision modes using PyTorch and TensorRT. Results show that reduced precision significantly improves performance, with INT8 achieving up to 58x throughput improvement over CPU baselines. L4 achieves up to 4.4x higher throughput than T4 while reaching peak efficiency at smaller batch sizes between 16 and 32, improving latency-throughput tradeoffs for latency-sensitive workloads. T4 remains competitive for large batch workloads where cost or power efficiency is important. DEEP-GAP provides practical guidance for selecting precision modes, batch sizes, and GPU architectures for modern inference deployments.
• Abstract（参考訳）: 現代のデータセンターは、パフォーマンス、エネルギー効率、ラック密度の制約のバランスをとるために、低消費電力でシングルスロットの推論アクセラレータにますます依存している。 NVIDIA T4 GPUは、ワット当たりの強いパフォーマンスと成熟したソフトウェアサポートのために広くデプロイされている。 後継のNVIDIA L4 GPUでは、Tensor Coreスループット、キャッシュ容量、メモリ帯域幅、並列実行能力が改善されている。 しかしながら、限定的な経験的証拠は、制御および再現可能な条件下でこれらの2世代間の実用的な推論性能ギャップを定量化する。 この研究は、GDEV-AI方法論をGPU推論に拡張した体系的評価であるDEEP-GAPを紹介する。 同一の構成とワークロードを使用して、PyTorchとTensorRTを使用して、FP32、FP16、INT8の精度モードでResNet18、ResNet50、ResNet101を評価する。 その結果、精度の低下によりパフォーマンスが大幅に向上し、INT8はCPUベースラインの最大58倍のスループット向上を実現した。 L4は、T4よりも最大4.4倍高いスループットを実現し、16から32までのバッチサイズでピーク効率を達成し、レイテンシに敏感なワークロードに対するレイテンシ・スループットのトレードオフを改善した。 T4は、コストや電力効率が重要である大規模なバッチワークロードに対して競争力を維持しています。 DEEP-GAPは、最新の推論デプロイメントのための精度モード、バッチサイズ、GPUアーキテクチャを選択するための実用的なガイダンスを提供する。

関連論文リスト

• BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
  バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。 本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。 実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
  論文  参考訳（メタデータ） (2026-04-05T04:25:07Z)
• INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats [51.72056104795248]
  NvidiaのBlackwellアーキテクチャのような現代のAIハードウェアは、低精度浮動小数点(FP)フォーマットをますます受け入れている。 本稿では,FPフォーマットと整数(INT)フォーマットのトレードオフを系統的に検討する。 FPは粗粒度量子化に優れるが、きめ細かい(ブロックワイド)レベルでの比較はよりニュアンスが高い。
  論文  参考訳（メタデータ） (2025-10-29T15:11:53Z)
• Speeding Up MACE: Low-Precision Tricks for Equivarient Force Fields [51.95157731126864]
  機械学習力場は高い計算コストで正確な分子動力学(MD)を提供することができる。 この論文は、計算ボトルネックを特定し、低精度の実行ポリシーを評価することで、MACEを安価かつ高速にすることを目的としている。
  論文  参考訳（メタデータ） (2025-10-23T14:02:34Z)
• Tempus Core: Area-Power Efficient Temporal-Unary Convolution Core for Low-Precision Edge DLAs [1.9938412996898076]
  単項行列乗算ハードウェアは、データの分散性と低精度な値を活用し、ハードウェア効率を向上させることを目的としている。 このような一元的ハードウェアを商用ディープラーニングアクセラレータ(DLA)に統合することは、処理要素(PE)配列データフローの違いによって制限されている。 この研究は、Tempus Coreという、高度にスケーラブルな単項ベースのPEアレイを備えた畳み込みコアを、浴槽(時空単項)乗算器で提示する。
  論文  参考訳（メタデータ） (2024-12-25T23:20:02Z)
• MoE-Lightning: High-Throughput MoE Inference on Memory-constrained GPUs [55.95879347182669]
  MoEアーキテクチャは、推論コストの比例的な増加なしにモデルキャパシティを向上できることで有名である。 MoE-LightningはCPU-GPU-I/OパイプラインスケジュールであるCGOPipeを導入し、ページ重み付けにより高いリソース利用を実現する。 MoE-Lightningは、単一のT4 GPU(16GB)上でMixtral 8x7Bの最先端オフロード可能なLLM推論システムよりも最大10.3倍高いスループットを実現することができる
  論文  参考訳（メタデータ） (2024-11-18T01:06:12Z)
• Multi-GPU RI-HF Energies and Analytic Gradients $-$ Towards High Throughput Ab Initio Molecular Dynamics [0.0]
  本稿では,複数グラフィクス処理ユニット(GPU)を用いた高次ハートリー・フォックエネルギーと解析勾配の解法を最適化したアルゴリズムと実装を提案する。 このアルゴリズムは特に、中小分子(10-100原子)の高スループット初期分子動力学シミュレーションのために設計されている。
  論文  参考訳（メタデータ） (2024-07-29T00:14:10Z)
• QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language Models [57.04178959678024]
  重み付けとアクティベーションの両方を4ビットにキャストすることで、大きな生成モデルに対する推論計算の大部分が実行可能であることを示す。 これをQUIKと呼ばれるハイブリッド量子化戦略により実現し、重みとアクティベーションの大部分を4ビットに圧縮する。 我々は、QUIKフォーマットを高効率なレイヤワイドランタイムに適合させるGPUカーネルを提供し、これにより、エンドツーエンドのスループットが3.4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-13T17:15:05Z)
• Benchmarking Edge Computing Devices for Grape Bunches and Trunks Detection using Accelerated Object Detection Single Shot MultiBox Deep Learning Models [2.1922186455344796]
  この研究は、オブジェクト検出のための異なるプラットフォームのパフォーマンスをリアルタイムでベンチマークする。 著者らは、自然なVineデータセットを使用して、RetinaNet ResNet-50を微調整した。
  論文  参考訳（メタデータ） (2022-11-21T17:02:33Z)
• FantastIC4: A Hardware-Software Co-Design Approach for Efficiently Running 4bit-Compact Multilayer Perceptrons [19.411734658680967]
  深層ニューラルネットワーク(DNN)の高効率な実行エンジンを得るためのソフトウェアハードウェア最適化パラダイムを提案する。 私たちのアプローチは、予測性能の高い多層パーセプトロン(MLP)の面積と電力要件を低減するための手段として、圧縮を中心にしています。 仮想超大規模FPGA XCVU440デバイス実装では総消費電力3.6Wで2.45 TOPSのスループットを達成し、22nmプロセスASICバージョンでは20.17 TOPS/Wの総電力効率を達成できることを示した。
  論文  参考訳（メタデータ） (2020-12-17T19:10:04Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。