論文の概要: Sustainable AI Training via Hardware-Software Co-Design on NVIDIA, AMD, and Emerging GPU Architectures

• arxiv url: http://arxiv.org/abs/2508.13163v1
• Date: Mon, 28 Jul 2025 03:25:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-24 10:27:26.511361
• Title: Sustainable AI Training via Hardware-Software Co-Design on NVIDIA, AMD, and Emerging GPU Architectures
• Title（参考訳）: NVIDIA、AMD、新興GPUアーキテクチャのハードウェアソフトウェア共同設計による持続可能なAIトレーニング
• Authors: Yashasvi Makin, Rahul Maliakkal,
• Abstract要約: 大規模なディープラーニングと人工知能モデルのトレーニングは、多くの計算能力とエネルギーを使用するため、深刻な持続可能性の問題が発生する。 本研究では,NVIDIA,AMD,その他の新興GPUアーキテクチャの高度なGPUアーキテクチャを対象とした,環境駆動型パフォーマンス最適化手法について検討する。 我々の主な焦点は、メモリレベルとカーネルレベルの演算を大幅に向上することを目的とした、ハードウェア・ソフトウェア・コンパイラの共同設計技術の調査である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In particular, large-scale deep learning and artificial intelligence model training uses a lot of computational power and energy, so it poses serious sustainability issues. The fast rise in model complexity has resulted in exponential increases in energy consumption, increasing the demand for techniques maximizing computational efficiency and lowering environmental impact. This work explores environmentally driven performance optimization methods especially intended for advanced GPU architectures from NVIDIA, AMD, and other emerging GPU architectures. Our main focus is on investigating hardware-software co-design techniques meant to significantly increase memory-level and kernel-level operations, so improving performance-per-watt measures. Our thorough research encompasses evaluations of specialized tensor and matrix cores, advanced memory optimization methods, and creative integration approaches that taken together result in notable energy efficiency increases. We also discuss important software-level optimizations that augment hardware capability including mixed-precision arithmetic, advanced energy-aware scheduling algorithms, and compiler-driven kernel enhancements. Moreover, we methodically point out important research gaps and suggest future directions necessary to create really sustainable artificial intelligence systems. This paper emphasizes how major increases in training efficiency can be obtained by co-design of hardware and software, so lowering the environmental impact of artificial intelligence without compromising performance. To back up our analysis, we use real-world case studies from top companies like Meta, Google, Amazon, and others that show how these sustainable AI training methods are used in the real world.
• Abstract（参考訳）: 特に、大規模なディープラーニングと人工知能モデルのトレーニングは、多くの計算能力とエネルギーを使用するため、深刻な持続可能性の問題が発生する。 モデル複雑性の急速な増加は、エネルギー消費の指数的な増加をもたらし、計算効率を最大化し、環境への影響を下げる技術への需要を増大させた。 本研究では,特にNVIDIA,AMD,その他の新興GPUアーキテクチャの高度なGPUアーキテクチャを対象とした,環境駆動型パフォーマンス最適化手法について検討する。 我々の主な焦点は、メモリレベルとカーネルレベルの演算を大幅に向上させることを目的として、ハードウェア・ソフトウェア共同設計技術の調査である。 我々の徹底的な研究は、特別なテンソルとマトリックスコアの評価、高度なメモリ最適化方法、そして、エネルギー効率の顕著な向上をもたらす創造的な統合アプローチを含む。 また、混合精度演算、高度なエネルギー認識スケジューリングアルゴリズム、コンパイラ駆動カーネル拡張など、ハードウェア能力を増強する重要なソフトウェアレベルの最適化についても論じる。 さらに、我々は、重要な研究ギャップを体系的に指摘し、真に持続可能な人工知能システムを構築するために必要な今後の方向性を提案する。 本稿では、ハードウェアとソフトウェアの共同設計により、トレーニング効率が大幅に向上し、性能を損なうことなく、人工知能の環境への影響を低減できることを強調する。 分析を裏付けるために、Meta、Google、Amazonなどのトップ企業による実世界のケーススタディを使用して、これらの持続可能なAIトレーニングメソッドが現実世界でどのように使用されているかを示しています。

関連論文リスト

• Edge-Cloud Collaborative Computing on Distributed Intelligence and Model Optimization: A Survey [58.50944604905037]
  エッジクラウドコラボレーティブコンピューティング(ECCC)は、現代のインテリジェントアプリケーションの計算要求に対処するための重要なパラダイムとして登場した。 AIの最近の進歩、特にディープラーニングと大規模言語モデル(LLM)は、これらの分散システムの能力を劇的に向上させてきた。 この調査は、基本的なアーキテクチャ、技術の実現、新しいアプリケーションに関する構造化されたチュートリアルを提供する。
  論文  参考訳（メタデータ） (2025-05-03T13:55:38Z)
• A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
  大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。 これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。 本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
  論文  参考訳（メタデータ） (2024-12-18T14:11:15Z)
• Investigation of Energy-efficient AI Model Architectures and Compression Techniques for "Green" Fetal Brain Segmentation [42.52549987351643]
  医療画像における胎児脳のセグメンテーションは、胎児の脳の大きさが小さく、高速な2次元配列の画質が制限されているため困難である。 ディープニューラルネットワークはこの課題を克服するための有望な方法だ。 本研究の目的は,エネルギー効率を高めるモデルアーキテクチャと圧縮技術を検討することである。
  論文  参考訳（メタデータ） (2024-04-03T15:11:53Z)
• Evaluating Emerging AI/ML Accelerators: IPU, RDU, and NVIDIA/AMD GPUs [14.397623940689487]
  Graphcore Intelligence Processing Unit (IPU)、Sambanova Reconfigurable Dataflow Unit (RDU)、拡張GPUプラットフォームについてレビューする。 この研究は、これらの商用AI/MLアクセラレータの予備評価と比較を提供する。
  論文  参考訳（メタデータ） (2023-11-08T01:06:25Z)
• Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
  ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。 ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。 新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
  論文  参考訳（メタデータ） (2023-08-27T03:55:28Z)
• Trends in Energy Estimates for Computing in AI/Machine Learning Accelerators, Supercomputers, and Compute-Intensive Applications [3.2634122554914]
  幾何スケーリング法則により駆動される異なるシステムの計算エネルギー要求について検討する。 幾何スケーリングによるエネルギー効率が低下していることを示す。 応用レベルでは、汎用AI-ML手法は計算エネルギー集約化が可能である。
  論文  参考訳（メタデータ） (2022-10-12T16:14:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。