論文の概要: Plumber: Diagnosing and Removing Performance Bottlenecks in Machine Learning Data Pipelines

• arxiv url: http://arxiv.org/abs/2111.04131v1
• Date: Sun, 7 Nov 2021 17:15:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-09 17:29:03.003923
• Title: Plumber: Diagnosing and Removing Performance Bottlenecks in Machine Learning Data Pipelines
• Title（参考訳）: plumber: マシンラーニングデータパイプラインのパフォーマンスボトルネックの診断と除去
• Authors: Michael Kuchnik and Ana Klimovic and Jiri Simsa and George Amvrosiadis and Virginia Smith
• Abstract要約: 機械学習(ML)入力パイプラインのボトルネックを見つけるツールであるPlumberを提案する。 5つの代表的MLパイプラインにまたがって、Plumberはパイプラインの最大46倍のスピードアップを取得する。 キャッシュを自動化することで、Plumberは最先端のチューナーと比較して、エンドツーエンドのスピードアップを40%以上獲得する。
• 参考スコア（独自算出の注目度）: 7.022239953701528
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Input pipelines, which ingest and transform input data, are an essential part of training Machine Learning (ML) models. However, it is challenging to implement efficient input pipelines, as it requires reasoning about parallelism, asynchrony, and variability in fine-grained profiling information. Our analysis of over 2 million ML jobs in Google datacenters reveals that a significant fraction of model training jobs could benefit from faster input data pipelines. At the same time, our analysis reveals that most jobs do not saturate host hardware, pointing in the direction of software-based bottlenecks. Motivated by these findings, we propose Plumber, a tool for finding bottlenecks in ML input pipelines. Plumber uses an extensible and interprettable operational analysis analytical model to automatically tune parallelism, prefetching, and caching under host resource constraints. Across five representative ML pipelines, Plumber obtains speedups of up to 46x for misconfigured pipelines. By automating caching, Plumber obtains end-to-end speedups of over 40% compared to state-of-the-art tuners.
• Abstract（参考訳）: 入力データを取り込んで変換する入力パイプラインは、機械学習(ML)モデルをトレーニングする上で不可欠な部分である。 しかし、並列性、非同期性、および詳細なプロファイリング情報における可変性に関する推論を必要とするため、効率的な入力パイプラインの実装は困難である。 Googleのデータセンターで200万以上のMLジョブを分析してみると、モデルのトレーニングジョブのかなりの部分が、より高速な入力データパイプラインの恩恵を受けていることが分かります。 同時に、我々の分析では、ほとんどのジョブがホストハードウェアを飽和させておらず、ソフトウェアベースのボトルネックの方向を指し示しています。 これらの結果から,ML入力パイプラインのボトルネックを見つけるツールであるPlumberを提案する。 plumberは拡張可能で解釈可能な運用分析分析モデルを使用して、ホストリソース制約の下で並列処理、プリフェッチ、キャッシュを自動的にチューニングする。 5つの代表的MLパイプラインに対して、Plumberは、設定ミスのパイプラインに対して、最大46倍のスピードアップを取得する。 キャッシュを自動化することで、Plumberは最先端のチューナーと比較して、エンドツーエンドのスピードアップを40%以上獲得する。

関連論文リスト

• Instrumentation and Analysis of Native ML Pipelines via Logical Query Plans [3.2362171533623054]
  私たちは、データサイエンティストが機械学習パイプラインを開発し、検証し、監視し、分析するのを支援するために、高度に自動化されたソフトウェアプラットフォームを構想しています。 一般的なライブラリに依存したMLパイプラインコードから"論理クエリプラン"を抽出する。 これらの計画に基づいて、パイプラインのセマンティクスとインスツルメンタを自動で推論し、MLパイプラインを書き換えて、データサイエンティストが手動でアノテートしたり、コードを書き換えたりすることなく、さまざまなユースケースを可能にします。
  論文  参考訳（メタデータ） (2024-07-10T11:35:02Z)
• PARTIME: Scalable and Parallel Processing Over Time with Deep Neural Networks [68.96484488899901]
  PartIMEは、データが継続的にストリーミングされるたびにニューラルネットワークを高速化するように設計されたライブラリです。 PartIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。 オンライン学習において、PartialIMEと古典的な非並列ニューラル計算を経験的に比較するために実験が行われる。
  論文  参考訳（メタデータ） (2022-10-17T14:49:14Z)
• Pushing the Limits of Simple Pipelines for Few-Shot Learning: External Data and Fine-Tuning Make a Difference [74.80730361332711]
  コンピュータビジョンにおいて、ほとんどショット学習は重要かつトピック的な問題である。 単純なトランスフォーマーベースのパイプラインは、標準ベンチマークで驚くほど優れたパフォーマンスが得られることを示す。
  論文  参考訳（メタデータ） (2022-04-15T02:55:58Z)
• Where Is My Training Bottleneck? Hidden Trade-Offs in Deep Learning Preprocessing Pipelines [77.45213180689952]
  ディープラーニングにおける前処理パイプラインは、トレーニングプロセスを忙しくするための十分なデータスループットの提供を目的としている。 エンドツーエンドのディープラーニングパイプラインのためのデータセットを効率的に準備する新たな視点を導入する。 チューニングされていないシステムに比べてスループットが3倍から13倍に向上する。
  論文  参考訳（メタデータ） (2022-02-17T14:31:58Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• FENXI: Deep-learning Traffic Analytics at the Edge [69.34903175081284]
  本稿では,TPUを利用して複雑な解析を行うシステムであるFENXIを提案する。 FENXIは、さまざまな粒度で動作するオペレーションとトラフィック分析を分離する。 分析の結果,FENXIは限られた資源しか必要とせず,転送ラインレートのトラヒック処理を継続できることがわかった。
  論文  参考訳（メタデータ） (2021-05-25T08:02:44Z)
• Production Machine Learning Pipelines: Empirical Analysis and Optimization Opportunities [5.510431861706128]
  Google の 3000 の生産 ML パイプラインの実績グラフを分析し、トレーニングされた 450,000 モデルで構成され、4 ヶ月以上の期間にわたって。 分析の結果,様々な粒度の産業用MLパイプラインの特徴,構成要素,およびトポロジが明らかになった。 従来のデータ管理のアイデアを活用して、最適化のための豊富な機会を特定します。
  論文  参考訳（メタデータ） (2021-03-30T00:46:29Z)
• PipeTransformer: Automated Elastic Pipelining for Distributed Training of Transformers [47.194426122333205]
  PipeTransformerはTransformerモデルの分散トレーニングアルゴリズムである。 トレーニング中にいくつかのレイヤを特定し凍結することで、パイプラインとデータの並列性を自動的に調整する。 GLUE と SQuAD データセット上で ImageNet と BERT 上での Vision Transformer (ViT) を用いた Pipe Transformer の評価を行った。
  論文  参考訳（メタデータ） (2021-02-05T13:39:31Z)
• tf.data: A Machine Learning Data Processing Framework [0.4588028371034406]
  機械学習モデルのトレーニングには、モデルに入力データを入力する必要がある。 機械学習ジョブのための効率的な入力パイプラインの構築と実行のためのフレームワークであるtf.dataを提案する。 入力パイプラインのパフォーマンスは、最先端の機械学習モデルのエンドツーエンドのトレーニング時間に極めて重要であることを実証する。
  論文  参考訳（メタデータ） (2021-01-28T17:16:46Z)
• AutoWeka4MCPS-AVATAR: Accelerating Automated Machine Learning Pipeline Composition and Optimisation [13.116806430326513]
  本稿では,サロゲートモデル(AVATAR)を用いて,実行せずにMLパイプラインの有効性を評価する手法を提案する。 AVATARは、データセットの特徴に対するMLアルゴリズムの機能と効果を自動的に学習することで、知識ベースを生成する。 AVATARはその妥当性を評価するためにオリジナルのMLパイプラインを実行する代わりに、MLパイプラインコンポーネントの機能と効果によって構築されたサロゲートモデルを評価する。
  論文  参考訳（メタデータ） (2020-11-21T14:05:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。