論文の概要: Where Is My Training Bottleneck? Hidden Trade-Offs in Deep Learning
Preprocessing Pipelines
- arxiv url: http://arxiv.org/abs/2202.08679v1
- Date: Thu, 17 Feb 2022 14:31:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-18 16:35:30.673672
- Title: Where Is My Training Bottleneck? Hidden Trade-Offs in Deep Learning
Preprocessing Pipelines
- Title（参考訳）: トレーニングのボトルネックはどこにあるのか?
ディープラーニング前処理パイプラインにおける隠れトレードオフ
- Authors: Alexander Isenko, Ruben Mayer, Jeffrey Jedele, Hans-Arno Jacobsen
- Abstract要約: ディープラーニングにおける前処理パイプラインは、トレーニングプロセスを忙しくするための十分なデータスループットの提供を目的としている。
エンドツーエンドのディープラーニングパイプラインのためのデータセットを効率的に準備する新たな視点を導入する。
チューニングされていないシステムに比べてスループットが3倍から13倍に向上する。
- 参考スコア（独自算出の注目度）: 77.45213180689952
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Preprocessing pipelines in deep learning aim to provide sufficient data
throughput to keep the training processes busy. Maximizing resource utilization
is becoming more challenging as the throughput of training processes increases
with hardware innovations (e.g., faster GPUs, TPUs, and inter-connects) and
advanced parallelization techniques that yield better scalability. At the same
time, the amount of training data needed in order to train increasingly complex
models is growing. As a consequence of this development, data preprocessing and
provisioning are becoming a severe bottleneck in end-to-end deep learning
pipelines.
In this paper, we provide an in-depth analysis of data preprocessing
pipelines from four different machine learning domains. We introduce a new
perspective on efficiently preparing datasets for end-to-end deep learning
pipelines and extract individual trade-offs to optimize throughput,
preprocessing time, and storage consumption. Additionally, we provide an
open-source profiling library that can automatically decide on a suitable
preprocessing strategy to maximize throughput. By applying our generated
insights to real-world use-cases, we obtain an increased throughput of 3x to
13x compared to an untuned system while keeping the pipeline functionally
identical. These findings show the enormous potential of data pipeline tuning.
- Abstract（参考訳）: ディープラーニングにおける前処理パイプラインは、トレーニングプロセスを忙しくするための十分なデータスループットの提供を目的としている。
ハードウェアの革新(高速GPU、TPU、インターコネクションなど)や高度な並列化技術によって、トレーニングプロセスのスループットが向上するにつれ、リソース利用の最大化はますます困難になりつつある。
同時に、ますます複雑なモデルをトレーニングするために必要なトレーニングデータも増えています。
この開発の結果、エンドツーエンドのディープラーニングパイプラインでは、データ前処理とプロビジョニングが深刻なボトルネックになっている。
本稿では,4つの異なる機械学習領域からのデータ前処理パイプラインを詳細に分析する。
エンドツーエンドのディープラーニングパイプラインのためのデータセットを効率的に準備し、スループット、前処理時間、ストレージ消費を最適化するために個々のトレードオフを抽出する新しい視点を導入する。
さらに、スループットを最大化する適切な前処理戦略を自動的に決定できるオープンソースのプロファイリングライブラリを提供する。
実世界のユースケースに生成した洞察を適用することで、パイプラインを機能的に同一に保ちながら、未調整のシステムに比べてスループットが3倍から13倍に向上する。
これらの結果は,データパイプラインチューニングの膨大な可能性を示している。
関連論文リスト
- InTune: Reinforcement Learning-based Data Pipeline Optimization for Deep
Recommendation Models [3.7414278978078204]
深層学習に基づくレコメンデータモデル(DLRM)は多くの現代のレコメンデータシステムにおいて重要なコンポーネントとなっている。
典型的なディープラーニングトレーニングジョブはモデル実行に支配されているが、DLRMトレーニングパフォーマンスの最も重要な要素は、しばしばオンラインデータの取り込みである。
論文 参考訳（メタデータ） (2023-08-13T18:28:56Z) - Deep Pipeline Embeddings for AutoML [11.168121941015015]
AutoMLは、最小限の人間の専門知識で機械学習システムを自動デプロイすることで、AIを民主化するための有望な方向である。
既存のパイプライン最適化テクニックでは、パイプラインステージ/コンポーネント間の深いインタラクションを探索できない。
本稿では,機械学習パイプラインのコンポーネント間のディープインタラクションをキャプチャするニューラルアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-05-23T12:40:38Z) - Understand Data Preprocessing for Effective End-to-End Training of Deep
Neural Networks [8.977436072381973]
生データと記録ファイルのどちらを用いた2つの主要なデータ前処理手法の性能評価実験を行った。
我々は、潜在的な原因を特定し、様々な最適化方法を実行し、その長所と短所を提示する。
論文 参考訳（メタデータ） (2023-04-18T11:57:38Z) - Pushing the Limits of Simple Pipelines for Few-Shot Learning: External
Data and Fine-Tuning Make a Difference [74.80730361332711]
コンピュータビジョンにおいて、ほとんどショット学習は重要かつトピック的な問題である。
単純なトランスフォーマーベースのパイプラインは、標準ベンチマークで驚くほど優れたパフォーマンスが得られることを示す。
論文 参考訳（メタデータ） (2022-04-15T02:55:58Z) - Knowledge Distillation as Efficient Pre-training: Faster Convergence,
Higher Data-efficiency, and Better Transferability [53.27240222619834]
効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。
提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
論文 参考訳（メタデータ） (2022-03-10T06:23:41Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳（メタデータ） (2021-12-22T14:45:37Z) - Understanding and Co-designing the Data Ingestion Pipeline for
Industry-Scale RecSys Training [5.058493679956239]
本稿では,産業規模のレコメンデーションモデルトレーニングにおけるデータ取り込み課題について概説する。
まず、データセットのストレージ要件は巨大で可変であり、ローカルストレージ容量を超える。
第二に、データの読み込みと前処理は計算コストが高く、トレーナー自身よりも計算量、メモリ、ネットワークリソースがかなり必要になります。
データ前処理サービス(Data PreProcessing Service, DPP)は、数百のノードにスケール可能な、完全に分離された前処理サービスである。
論文 参考訳（メタデータ） (2021-08-20T21:09:34Z) - tf.data: A Machine Learning Data Processing Framework [0.4588028371034406]
機械学習モデルのトレーニングには、モデルに入力データを入力する必要がある。
機械学習ジョブのための効率的な入力パイプラインの構築と実行のためのフレームワークであるtf.dataを提案する。
入力パイプラインのパフォーマンスは、最先端の機械学習モデルのエンドツーエンドのトレーニング時間に極めて重要であることを実証する。
論文 参考訳（メタデータ） (2021-01-28T17:16:46Z) - Understanding the Effects of Data Parallelism and Sparsity on Neural
Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。
有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文 参考訳（メタデータ） (2020-03-25T10:49:22Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。