論文の概要: Throughput Optimization as a Strategic Lever in Large-Scale AI Systems: Evidence from Dataloader and Memory Profiling Innovations

• arxiv url: http://arxiv.org/abs/2603.26823v1
• Date: Fri, 27 Mar 2026 00:04:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:44.644603
• Title: Throughput Optimization as a Strategic Lever in Large-Scale AI Systems: Evidence from Dataloader and Memory Profiling Innovations
• Title（参考訳）: 大規模AIシステムにおける戦略的レバとしてのスループット最適化 - データローダとメモリプロファイリングのイノベーションからの証拠
• Authors: Mayank Jha,
• Abstract要約: 本稿では,近年の学術的,産業的革新から証拠を合成し,学習効率の重要な進歩を分析する。 エンドツーエンドのトレーニングスループットが4.5%向上したOVERLORDフレームワークのような,データローダボトルネックに対するアーキテクチャソリューションを検討する。 本稿では,Triton-Distributedによって実証されたコンパイラ中心の最適化の重要性の増大について考察する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The development of large-scale foundation models, particularly Large Language Models (LLMs), is constrained by significant computational and memory bottlenecks. These challenges elevate throughput optimization from a mere engineering task to a critical strategic lever, directly influencing training time, operational cost, and the feasible scale of next-generation models. This paper synthesizes evidence from recent academic and industry innovations to analyze key advancements in training efficiency. We examine architectural solutions to dataloader bottlenecks, such as the OVERLORD framework, which has demonstrated a 4.5% improvement in end-to-end training throughput. We investigate memory optimization techniques designed to overcome the GPU memory wall, including CPU offloading strategies like DeepSpeed's ZeRO-Offload, which enable the training of models far exceeding single-accelerator capacity. Furthermore, we explore the growing importance of compiler-centric optimizations, exemplified by Triton-distributed, which enables the joint optimization of computation, memory, and communication for substantial performance gains. The analysis is contextualized by advanced profiling tools and hardware characterization studies that identify and mitigate previously overlooked overheads like Dynamic Voltage and Frequency Scaling (DVFS). Findings indicate that a holistic, system-level approach, integrating innovations across data pipelines, memory management, network fabrics, and compiler technologies, is essential for accelerating AI development, managing costs, and pushing the boundaries of model scale.
• Abstract（参考訳）: 大規模基盤モデル、特にLarge Language Models (LLM) の開発は、計算とメモリの重大なボトルネックによって制約されている。 これらの課題は、単なるエンジニアリングタスクから重要な戦略的レバーへのスループット最適化を向上し、トレーニング時間、運用コスト、次世代モデルの実現可能なスケールに直接影響を与える。 本稿では,近年の学術的,産業的革新から証拠を合成し,学習効率の重要な進歩を分析する。 エンドツーエンドのトレーニングスループットが4.5%向上したOVERLORDフレームワークのような,データローダボトルネックに対するアーキテクチャソリューションを検討する。 本稿では,DeepSpeedのZeRO-OffloadのようなCPUオフロード戦略を含む,GPUメモリ壁を克服するために設計されたメモリ最適化手法について検討する。 さらに,Triton-Distributedによって実証されたコンパイラ中心の最適化の重要性の増大について検討する。 この分析は、ダイナミック電圧や周波数スケーリング(DVFS)など、これまで見過ごされていたオーバーヘッドを特定し、緩和する高度なプロファイリングツールとハードウェアキャラクタリゼーション研究によってコンテキスト化されている。 データパイプライン、メモリ管理、ネットワークファブリック、およびコンパイラ技術にわたるイノベーションを統合する、全体的なシステムレベルのアプローチは、AI開発を加速し、コストを管理し、モデルスケールの境界を押し進めるために不可欠であることを示している。

関連論文リスト

• Scaling DRL for Decision Making: A Survey on Data, Network, and Training Budget Strategies [66.83950068218033]
  スケーリング法則は、モデルのパラメータとトレーニングデータによって学習のパフォーマンスが向上することを示している。 性能向上の可能性にもかかわらず、スケーリング法則を深層強化学習に統合することは、完全には実現されていない。 本稿では,データ,ネットワーク,トレーニング予算という3次元のスケーリング戦略を体系的に分析することによって,このギャップに対処する。
  論文  参考訳（メタデータ） (2025-08-05T08:03:12Z)
• Sustainable AI Training via Hardware-Software Co-Design on NVIDIA, AMD, and Emerging GPU Architectures [0.0]
  大規模なディープラーニングと人工知能モデルのトレーニングは、多くの計算能力とエネルギーを使用するため、深刻な持続可能性の問題が発生する。 本研究では,NVIDIA,AMD,その他の新興GPUアーキテクチャの高度なGPUアーキテクチャを対象とした,環境駆動型パフォーマンス最適化手法について検討する。 我々の主な焦点は、メモリレベルとカーネルレベルの演算を大幅に向上することを目的とした、ハードウェア・ソフトウェア・コンパイラの共同設計技術の調査である。
  論文  参考訳（メタデータ） (2025-07-28T03:25:44Z)
• Deploying Large AI Models on Resource-Limited Devices with Split Federated Learning [39.73152182572741]
  本稿では、SFLAM(Quantized Split Federated Fine-Tuning Large AI Model)と呼ばれる新しいフレームワークを提案する。 エッジデバイスとサーバ間のトレーニング負荷を分割することで、SFLAMはデバイス上の大規模なモデルの操作を容易にすることができる。 SFLAMは、トレーニング効率を高めるために、量子化管理、電力制御、帯域幅割り当て戦略を取り入れている。
  論文  参考訳（メタデータ） (2025-04-12T07:55:11Z)
• On Accelerating Edge AI: Optimizing Resource-Constrained Environments [1.7355861031903428]
  リソース制約のあるエッジデプロイメントでは、厳格な計算、メモリ、エネルギー制限とハイパフォーマンスのバランスをとるAIソリューションが要求される。 本稿では,このような制約下でのディープラーニングモデルを加速するための主要な戦略について概観する。
  論文  参考訳（メタデータ） (2025-01-25T01:37:03Z)
• Cognitive Edge Computing: A Comprehensive Survey on Optimizing Large Models and AI Agents for Pervasive Deployment [12.921833067052928]
  本稿では、ネットワークエッジのリソース制約されたデバイス上で、推論可能な大規模言語モデル(LLM)と自律AIエージェントをデプロイするための実用的かつ方法論的な経路として認知エッジコンピューティングを調査する。 本稿では,メモリ/計算予算の厳密化による多段階推論の維持を目的とした,統合された認知保存フレームワークを提案する。 我々は,効率的なトランスフォーマー設計,マルチモーダル統合,ハードウェア対応コンパイル,プライバシ保護学習,エージェントツール利用の進歩を合成し,それらをエッジ固有の操作エンベロープにマップする。
  論文  参考訳（メタデータ） (2025-01-04T06:17:48Z)
• A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
  大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。 これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。 本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
  論文  参考訳（メタデータ） (2024-12-18T14:11:15Z)
• Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
  トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。 モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。 このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
  論文  参考訳（メタデータ） (2024-07-12T09:24:34Z)
• On Efficient Training of Large-Scale Deep Learning Models: A Literature Review [90.87691246153612]
  ディープラーニングの分野は特にコンピュータビジョン(CV)、自然言語処理(NLP)、音声などにおいて大きな進歩を遂げている。 大量のデータに基づいてトレーニングされた大規模なモデルを使用することは、実用的なアプリケーションにとって大きな可能性を秘めている。 計算能力の需要が増大する中で、ディープラーニングモデルの訓練の加速技術に関する包括的な要約が期待されている。
  論文  参考訳（メタデータ） (2023-04-07T11:13:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。