論文の概要: Horizontally Fused Training Array: An Effective Hardware Utilization Squeezer for Training Novel Deep Learning Models

• arxiv url: http://arxiv.org/abs/2102.02344v1
• Date: Wed, 3 Feb 2021 23:56:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-05 16:21:28.214707
• Title: Horizontally Fused Training Array: An Effective Hardware Utilization Squeezer for Training Novel Deep Learning Models
• Title（参考訳）: horizontally fused training array: 新しいディープラーニングモデルのトレーニングに有効なハードウェア利用シュイーサー
• Authors: Shang Wang, Peiming Yang, Yuxuan Zheng, Xin Li, Gennady Pekhimenko
• Abstract要約: 単一加速器のトレーニングジョブが繰り返し起動した場合,クラスタ全体のリソース消費を支配していることを示す。 本稿では,DL研究者や実践者が新たなDLトレーニングワークロードのハードウェア利用を効果的かつ容易に向上するために,水平混合訓練アレイ(HFTA)を提案する。 HFTAは、ハードウェア使用量の削減に強い効果を示し、個別のアクセラレータ上で各ジョブを実行する標準的なプラクティスと比較して、最大15.1倍のトレーニングスループットを実現している。
• 参考スコア（独自算出の注目度）: 8.055533378391814
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Driven by the tremendous effort in researching novel deep learning (DL) algorithms, the training cost of developing new models increases staggeringly in recent years. To reduce this training cost and optimize the cluster-wide hardware resource usage, we analyze GPU cluster usage statistics from a well-known research institute. Our study reveals that single-accelerator training jobs can dominate the cluster-wide resource consumption when launched repetitively (e.g., for hyper-parameter tuning) while severely underutilizing the hardware. This is because DL researchers and practitioners often lack the required expertise to independently optimize their own workloads. Fortunately, we observe that such workloads have the following unique characteristics: (i) the models among jobs often have the same types of operators with the same shapes, and (ii) the inter-model horizontal fusion of such operators is mathematically equivalent to other already well-optimized operators. Thus, to help DL researchers and practitioners effectively and easily improve the hardware utilization of their novel DL training workloads, we propose Horizontally Fused Training Array (HFTA). HFTA is a new DL framework extension library that horizontally fuses the models from different repetitive jobs deeply down to operators, and then trains those models simultaneously on a shared accelerator. On three emerging DL training workloads and state-of-the-art accelerators (GPUs and TPUs), HFTA demonstrates strong effectiveness in squeezing out hardware utilization and achieves up to $15.1 \times$ higher training throughput vs. the standard practice of running each job on a separate accelerator.
• Abstract（参考訳）: 新しいディープラーニング(DL)アルゴリズムの研究に多大な努力によって、新しいモデルを開発するためのトレーニングコストは近年驚くほど増加しています。 このトレーニングコストを削減し、クラスタ全体のハードウェアリソース使用を最適化するために、有名な研究機関からGPUクラスタ使用統計を分析します。 本研究では,シングルアクセラレータのトレーニングジョブが,ハードウェアを過度に活用しながら,繰り返し起動時のクラスタ全体のリソース消費量(ハイパーパラメータチューニングなど)を支配できることを明らかにする。 これは、DL研究者や実践者が独自のワークロードを独自に最適化するために必要な専門知識を欠いているためです。 幸いなことに、このような作業負荷は、(i)ジョブ間のモデルは、同じ形状のオペレータの同じタイプを持っていることが多く、(ii)そのようなオペレータのモデル間水平融合は、他のすでに最適化された演算子と数学的に等価である。 そこで本研究では,DL研究者や実践者が,新たなDLトレーニング作業のハードウェア利用を効果的かつ容易に向上するために,Horizontally Fused Training Array (HFTA)を提案する。 HFTAは新しいDLフレームワーク拡張ライブラリで、異なる繰り返しジョブから演算子までモデルを水平方向に融合させ、それらのモデルを共有アクセラレータで同時にトレーニングする。 新興のDLトレーニングワークロードと最先端のアクセラレータ(GPUとTPU)の3つにおいて、HFTAはハードウェアの利用を絞り込むのに強力な効果を発揮し、各ジョブを別々のアクセラレータ上で実行する標準的なプラクティスと比較して最大15.1 \times$高いトレーニングスループットを達成します。

関連論文リスト

• Harnessing Manycore Processors with Distributed Memory for Accelerated Training of Sparse and Recurrent Models [43.1773057439246]
  現在のAIトレーニングインフラストラクチャは、単一の命令多重データ(SIMD)とシストリック配列アーキテクチャによって支配されている。 分散ローカルメモリを用いた大規模並列多重命令型マルチデータアーキテクチャにおけるスパース・リカレントモデルトレーニングについて検討する。
  論文  参考訳（メタデータ） (2023-11-07T23:18:35Z)
• Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
  ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。 モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。 ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T12:02:27Z)
• Rethinking Closed-loop Training for Autonomous Driving [82.61418945804544]
  本研究は,学習エージェントの成功に対する異なるトレーニングベンチマーク設計の影響を分析した最初の実証的研究である。 複数ステップのルックアヘッドで計画を行うRLベースの駆動エージェントであるtrajectory value learning (TRAVL)を提案する。 実験の結果,TRAVLはすべてのベースラインと比較してより速く学習でき,安全な操作が可能であることがわかった。
  論文  参考訳（メタデータ） (2023-06-27T17:58:39Z)
• RAF: Holistic Compilation for Deep Learning Model Training [17.956035630476173]
  本稿では,学習のための深層学習コンパイラであるRAFについて述べる。 既存のDLCとは異なり、RAFはフォワードモデルを受け入れ、社内でトレーニンググラフを生成する。 RAFは、パフォーマンス、メモリ、分散トレーニングのためのグラフ最適化を体系的に統合することができる。
  論文  参考訳（メタデータ） (2023-03-08T17:51:13Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• DL-DRL: A double-level deep reinforcement learning approach for large-scale task scheduling of multi-UAV [65.07776277630228]
  分割・征服フレームワーク(DCF)に基づく二重レベル深層強化学習(DL-DRL)手法を提案する。 特に,上層部DRLモデルにおけるエンコーダ・デコーダ構成ポリシネットワークを設計し,タスクを異なるUAVに割り当てる。 また、低レベルDRLモデルにおける別の注意に基づくポリシーネットワークを利用して、各UAVの経路を構築し、実行されたタスク数を最大化する。
  論文  参考訳（メタデータ） (2022-08-04T04:35:53Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Regularizing Generative Adversarial Networks under Limited Data [88.57330330305535]
  本研究は、限られたデータ上で堅牢なGANモデルをトレーニングするための正規化手法を提案する。 正規化損失とLeCam-divergenceと呼ばれるf-divergenceの関連性を示す。
  論文  参考訳（メタデータ） (2021-04-07T17:59:06Z)
• Multi-node Bert-pretraining: Cost-efficient Approach [6.5998084177955425]
  大規模トランスフォーマーベースの言語モデルは、多くの自然言語処理(NLP)タスクの最先端結果にエキサイティングな飛躍をもたらした。 大規模な教師なしデータセットの出現により、単一のトレーニングエポック内のデータサンプルの増加により、トレーニング時間がさらに延長される。 学術的な環境では、適切な時間予算(12日)でBERTの事前訓練を行うことが可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-01T05:49:20Z)
• Effective Elastic Scaling of Deep Learning Workloads [3.345876096131764]
  大規模学習プラットフォーム上でのDeep Learning(DL)ジョブの弾性スケーリングについて検討する。 本稿では,DLトレーニングジョブのための新たなリソース割り当て戦略を提案する。これにより,ジョブ実行時間の性能が向上し,クラスタ利用が向上する。
  論文  参考訳（メタデータ） (2020-06-24T17:01:09Z)
• Optimizing Memory-Access Patterns for Deep Learning Accelerators [6.931196464448543]
  ディープラーニング(DL)ワークロードは、高速な処理と低コストのために、アクセラレータへと移行している。 現代のDLアクセラレータは、DLワークロードを支配する大規模な乗算累積操作を扱うのに長けている。 データをソフトウェア管理のスクラッチパッドメモリで適切に実行する必要があるため、アクセルの計算能力を完全に活用することは困難である。 本稿では,多面体モデルを用いてDLモデルのすべての演算子を解析し,メモリアクセス数を最小化する手法を提案する。
  論文  参考訳（メタデータ） (2020-02-27T05:06:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。