論文の概要: Analyzing and Mitigating Data Stalls in DNN Training

• arxiv url: http://arxiv.org/abs/2007.06775v3
• Date: Tue, 19 Jan 2021 18:35:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 15:35:52.908580
• Title: Analyzing and Mitigating Data Stalls in DNN Training
• Title（参考訳）: DNNトレーニングにおけるデータストールの分析と緩和
• Authors: Jayashree Mohan, Amar Phanishayee, Ashish Raniwala, Vijay Chidambaram
• Abstract要約: 本稿では、入力データパイプラインがディープニューラルネットワーク(DNN)のトレーニング時間にどのように影響するかを、初めて包括的に分析する。 多くの場合、DNNのトレーニング時間はデータ停止時間(データのフェッチと前処理を待つ時間)に支配されています。 データストールを緩和するために、データローディングライブラリであるCoorDLに3つのシンプルだが効果的なテクニックを実装します。
• 参考スコア（独自算出の注目度）: 7.444113272493349
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training Deep Neural Networks (DNNs) is resource-intensive and time-consuming. While prior research has explored many different ways of reducing DNN training time, the impact of input data pipeline, i.e., fetching raw data items from storage and performing data pre-processing in memory, has been relatively unexplored. This paper makes the following contributions: (1) We present the first comprehensive analysis of how the input data pipeline affects the training time of widely-used computer vision and audio Deep Neural Networks (DNNs), that typically involve complex data preprocessing. We analyze nine different models across three tasks and four datasets while varying factors such as the amount of memory, number of CPU threads, storage device, GPU generation etc on servers that are a part of a large production cluster at Microsoft. We find that in many cases, DNN training time is dominated by data stall time: time spent waiting for data to be fetched and preprocessed. (2) We build a tool, DS-Analyzer to precisely measure data stalls using a differential technique, and perform predictive what-if analysis on data stalls. (3) Finally, based on the insights from our analysis, we design and implement three simple but effective techniques in a data-loading library, CoorDL, to mitigate data stalls. Our experiments on a range of DNN tasks, models, datasets, and hardware configs show that when PyTorch uses CoorDL instead of the state-of-the-art DALI data loading library, DNN training time is reduced significantly (by as much as 5x on a single server).
• Abstract（参考訳）: 深層ニューラルネットワーク(DNN)のトレーニングはリソース集約的で時間を要する。 これまでの研究では、DNNのトレーニング時間を短縮するさまざまな方法が検討されてきたが、入力データパイプライン、すなわち、ストレージから生データを取り出し、メモリ内でデータ前処理を実行することの影響は、比較的調査されていない。 本稿では,(1)入力データパイプラインが広く使われているコンピュータビジョンおよびオーディオ深層ニューラルネットワーク(dnn)のトレーニング時間にどのように影響するかを包括的に解析する。 3つのタスクと4つのデータセットで9つの異なるモデルを分析し、microsoftの大規模プロダクションクラスタの一部であるサーバ上でのメモリ数、cpuスレッド数、ストレージデバイス、gpu生成などさまざまな要因について分析した。 多くの場合、DNNのトレーニング時間はデータ停止時間(データのフェッチと前処理を待つ時間)に支配されています。 2)差分手法を用いてデータストールを正確に測定し,データストールの予測値解析を行うツールDS-Analyzerを構築した。 (3)最後に、分析から得られた知見に基づいて、データローディングライブラリであるCoorDLにおいて、データストールを緩和する3つのシンプルで効果的なテクニックを設計、実装する。 DNNタスク、モデル、データセット、ハードウェア構成に関する実験では、PyTorchが最先端のDALIデータロードライブラリの代わりにCoorDLを使用している場合、DNNトレーニング時間が大幅に短縮される(単一のサーバでは最大5倍)。

関連論文リスト

• DCP: Learning Accelerator Dataflow for Neural Network via Propagation [52.06154296196845]
  この研究は、DNN層の最適なデータフローを人間の努力なしに数秒で自動的に見つけるために、Dataflow Code Propagation (DCP)と呼ばれる効率的なデータ中心のアプローチを提案する。 DCPは、様々な最適化目標を最小化するために、望ましい勾配方向に向けてデータフローコードを効率的に更新する神経予測器を学習する。 例えば、追加のトレーニングデータを使用しないDCPは、数千のサンプルを使用して完全な検索を行うGAMAメソッドを超越している。
  論文  参考訳（メタデータ） (2024-10-09T05:16:44Z)
• Sparse-DySta: Sparsity-Aware Dynamic and Static Scheduling for Sparse Multi-DNN Workloads [65.47816359465155]
  複数のディープニューラルネットワーク(DNN)を並列に実行することは、両エッジデバイスで新たなワークロードとなっている。 スパースマルチDNNスケジューリングに静的なスケジューラパターンと動的スケジューラ情報の両方を利用する新しいスケジューラDystaを提案する。 提案手法は, 遅延制約違反率を最大10%削減し, 平均正規化ターンアラウンド時間で約4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-17T09:25:17Z)
• S3TC: Spiking Separated Spatial and Temporal Convolutions with Unsupervised STDP-based Learning for Action Recognition [1.2123876307427106]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上で実装される場合、通常の非スパイキングネットワークよりも計算コスト(数倍)が著しく低い。 本稿では,ビデオ解析に必要なパラメータ数を削減すべく,S3TC(Spike Separated Space and Temporal Convolutions)を初めて紹介する。
  論文  参考訳（メタデータ） (2023-09-22T10:05:35Z)
• AutoSynth: Learning to Generate 3D Training Data for Object Point Cloud Registration [69.21282992341007]
  Auto Synthは、ポイントクラウド登録のための3Dトレーニングデータを自動的に生成する。 私たちはポイントクラウド登録ネットワークをもっと小さなサロゲートネットワークに置き換え、4056.43$のスピードアップを実現しました。 TUD-L,LINEMOD,Occluded-LINEMODに関する我々の研究結果は,検索データセットでトレーニングされたニューラルネットワークが,広く使用されているModelNet40データセットでトレーニングされたニューラルネットワークよりも一貫してパフォーマンスが向上していることを示す。
  論文  参考訳（メタデータ） (2023-09-20T09:29:44Z)
• Understand Data Preprocessing for Effective End-to-End Training of Deep Neural Networks [8.977436072381973]
  生データと記録ファイルのどちらを用いた2つの主要なデータ前処理手法の性能評価実験を行った。 我々は、潜在的な原因を特定し、様々な最適化方法を実行し、その長所と短所を提示する。
  論文  参考訳（メタデータ） (2023-04-18T11:57:38Z)
• PARTIME: Scalable and Parallel Processing Over Time with Deep Neural Networks [68.96484488899901]
  PartIMEは、データが継続的にストリーミングされるたびにニューラルネットワークを高速化するように設計されたライブラリです。 PartIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。 オンライン学習において、PartialIMEと古典的な非並列ニューラル計算を経験的に比較するために実験が行われる。
  論文  参考訳（メタデータ） (2022-10-17T14:49:14Z)
• Scalable Neural Data Server: A Data Recommender for Transfer Learning [70.06289658553675]
  転送学習は、下流のパフォーマンスを改善するために追加データを活用する一般的な戦略である。 Nerve Data Server (NDS)は、特定の下流タスクに関連するデータを推奨する検索エンジンで、この問題に対処するためにこれまで提案されていた。 NDSは、データソースでトレーニングされた専門家の混合物を使用して、各ソースと下流タスクの類似性を推定する。 SNDSは、中間データセットに近接して、データソースと下流タスクの両方を表現します。
  論文  参考訳（メタデータ） (2022-06-19T12:07:32Z)
• Learning-Based Data Storage [Vision] (Technical Report) [9.882820980833698]
  我々は、データストレージの新しいパラダイムであるDNN-as-a-Databaseを構想し、よく訓練された機械学習モデルでデータをエンコードする。 本稿では,LMU(Learning-based memory unit)と呼ばれる学習構造を利用した,学習ベースデータストレージの新たな概念を提案する。 予備実験の結果,DNN ストレージの精度を高い(100%) 精度で向上させることで,学習ベースデータストレージの実現可能性を示した。
  論文  参考訳（メタデータ） (2022-06-12T16:14:16Z)
• Deep Learning on a Data Diet: Finding Important Examples Early in Training [35.746302913918484]
  ビジョンデータセットでは、トレーニングの初期段階で重要な例を特定するために、単純なスコアを使用することができる。 グラディエントノルメッド(GraNd)と誤差L2-ノルム(EL2N)という2つのスコアを提案する。
  論文  参考訳（メタデータ） (2021-07-15T02:12:20Z)
• Neural Data Server: A Large-Scale Search Engine for Transfer Learning Data [78.74367441804183]
  我々は,ターゲットドメインに最も有用な転送学習データを見つけるための大規模検索エンジンであるNeural Data Server (NDS)を紹介した。 NDSは、いくつかの人気のある画像データセットをインデックスするデータサーバで構成され、クライアントにデータを推奨することを目的としている。 我々は,NDSが様々な伝達学習シナリオにおいて有効であることを示し,複数のターゲットデータセットに対して最先端の性能を示す。
  論文  参考訳（メタデータ） (2020-01-09T01:21:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。