論文の概要: Production Machine Learning Pipelines: Empirical Analysis and
Optimization Opportunities
- arxiv url: http://arxiv.org/abs/2103.16007v1
- Date: Tue, 30 Mar 2021 00:46:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-01 04:44:16.612404
- Title: Production Machine Learning Pipelines: Empirical Analysis and
Optimization Opportunities
- Title（参考訳）: Production Machine Learning Pipelines:実証分析と最適化の機会
- Authors: Doris Xin, Hui Miao, Aditya Parameswaran, Neoklis Polyzotis
- Abstract要約: Google の 3000 の生産 ML パイプラインの実績グラフを分析し、トレーニングされた 450,000 モデルで構成され、4 ヶ月以上の期間にわたって。
分析の結果,様々な粒度の産業用MLパイプラインの特徴,構成要素,およびトポロジが明らかになった。
従来のデータ管理のアイデアを活用して、最適化のための豊富な機会を特定します。
- 参考スコア（独自算出の注目度）: 5.510431861706128
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning (ML) is now commonplace, powering data-driven applications
in various organizations. Unlike the traditional perception of ML in research,
ML production pipelines are complex, with many interlocking analytical
components beyond training, whose sub-parts are often run multiple times on
overlapping subsets of data. However, there is a lack of quantitative evidence
regarding the lifespan, architecture, frequency, and complexity of these
pipelines to understand how data management research can be used to make them
more efficient, effective, robust, and reproducible. To that end, we analyze
the provenance graphs of 3000 production ML pipelines at Google, comprising
over 450,000 models trained, spanning a period of over four months, in an
effort to understand the complexity and challenges underlying production ML.
Our analysis reveals the characteristics, components, and topologies of typical
industry-strength ML pipelines at various granularities. Along the way, we
introduce a specialized data model for representing and reasoning about
repeatedly run components in these ML pipelines, which we call model graphlets.
We identify several rich opportunities for optimization, leveraging traditional
data management ideas. We show how targeting even one of these opportunities,
i.e., identifying and pruning wasted computation that does not translate to
model deployment, can reduce wasted computation cost by 50% without
compromising the model deployment cadence.
- Abstract（参考訳）: 機械学習(ML)は現在、さまざまな組織でデータ駆動アプリケーションを動かしている。
研究におけるMLの従来の認識とは異なり、ML生産パイプラインは複雑で、多くのインターロック分析コンポーネントがトレーニングを超えており、そのサブ部分は重複するデータのサブセットで複数回実行されることが多い。
しかしながら、これらのパイプラインの寿命、アーキテクチャ、頻度、複雑さに関する定量的な証拠が欠如しており、データ管理研究がより効率的、効果的、堅牢、再現性を高めるためにどのように使われるかを理解することができる。
そのために、本番MLの基盤となる複雑さと課題を理解するために、4ヶ月以上にわたってトレーニングされた45万以上のモデルからなる、Googleの3000のプロダクションMLパイプラインの成果グラフを分析した。
分析の結果,様々な粒度の産業用MLパイプラインの特徴,構成要素,およびトポロジーが明らかになった。
その過程で、これらのMLパイプラインで繰り返し実行されるコンポーネントを表現および推論するための特殊なデータモデルを導入し、それをモデルグラフレットと呼ぶ。
従来のデータ管理のアイデアを活用して、最適化のための豊富な機会を特定します。
モデル配置のケイデンスを妥協することなく, モデル配置に変換されない無駄な計算を識別し, 刈り取ることにより, 無駄な計算コストを50%削減できることを示す。
関連論文リスト
- Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。
実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。
以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
論文 参考訳（メタデータ） (2024-06-19T00:28:58Z) - Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳（メタデータ） (2024-03-12T13:31:14Z) - Limits of Transformer Language Models on Learning to Compose Algorithms [77.2443883991608]
我々は,LLaMAモデルのトレーニングと,複数の個別サブタスクの合成学習を必要とする4つのタスクにおけるGPT-4とGeminiの促進について検討した。
その結果,現在最先端のTransformer言語モデルにおける構成学習は,非常に非効率なサンプルであることが示唆された。
論文 参考訳（メタデータ） (2024-02-08T16:23:29Z) - Benchmarking Automated Machine Learning Methods for Price Forecasting
Applications [58.720142291102135]
自動機械学習(AutoML)ソリューションで手作業で作成したMLパイプラインを置換する可能性を示す。
CRISP-DMプロセスに基づいて,手動MLパイプラインを機械学習と非機械学習に分割した。
本稿では、価格予測の産業利用事例として、ドメイン知識とAutoMLを組み合わせることで、ML専門家への依存が弱まることを示す。
論文 参考訳（メタデータ） (2023-04-28T10:27:38Z) - Analytical Engines With Context-Rich Processing: Towards Efficient
Next-Generation Analytics [12.317930859033149]
我々は、文脈に富む分析を可能にするコンポーネントと協調して最適化された分析エンジンを構想する。
我々は、リレーショナルおよびモデルベース演算子間の総括的なパイプラインコストとルールベースの最適化を目指している。
論文 参考訳（メタデータ） (2022-12-14T21:46:33Z) - Modeling Quality and Machine Learning Pipelines through Extended Feature
Models [0.0]
本稿では,機能モデルメタモデルを適切に拡張した品質MLパイプラインのための新しいエンジニアリング手法を提案する。
提案されたアプローチでは、MLパイプライン、その品質要件(パイプライン全体と単一フェーズ)、各パイプラインフェーズを実装するアルゴリズムの品質特性をモデル化することができる。
論文 参考訳（メタデータ） (2022-07-15T15:20:28Z) - Data Debugging with Shapley Importance over End-to-End Machine Learning
Pipelines [27.461398584509755]
DataScopeは、エンドツーエンドの機械学習パイプライン上でトレーニング例のShapley値を効率的に計算する最初のシステムである。
以上の結果から,DataScopeは最先端のモンテカルロ法よりも最大4桁高速であることがわかった。
論文 参考訳（メタデータ） (2022-04-23T19:29:23Z) - Where Is My Training Bottleneck? Hidden Trade-Offs in Deep Learning
Preprocessing Pipelines [77.45213180689952]
ディープラーニングにおける前処理パイプラインは、トレーニングプロセスを忙しくするための十分なデータスループットの提供を目的としている。
エンドツーエンドのディープラーニングパイプラインのためのデータセットを効率的に準備する新たな視点を導入する。
チューニングされていないシステムに比べてスループットが3倍から13倍に向上する。
論文 参考訳（メタデータ） (2022-02-17T14:31:58Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳（メタデータ） (2021-12-22T14:45:37Z) - A Rigorous Machine Learning Analysis Pipeline for Biomedical Binary
Classification: Application in Pancreatic Cancer Nested Case-control Studies
with Implications for Bias Assessments [2.9726886415710276]
バイナリ分類にフォーカスした、厳格で厳格なML分析パイプラインをレイアウトし、組み立てました。
この'自動'だがカスタマイズ可能なパイプラインは、a)探索分析、b)データのクリーニングと変換、c)特徴選択、d)9つの確立されたMLアルゴリズムによるモデルトレーニングを含む。
本パイプラインは,癌に対する確立された,新たに同定されたリスクファクターの疫学的検討に適用し,MLアルゴリズムによって異なるバイアス源がどのように扱われるかを評価する。
論文 参考訳（メタデータ） (2020-08-28T19:58:05Z) - PipeSim: Trace-driven Simulation of Large-Scale AI Operations Platforms [4.060731229044571]
大規模AIシステムのためのトレース駆動シミュレーションに基づく実験・分析環境を提案する。
IBMが開発したプロダクショングレードAIプラットフォームの分析データは、包括的なシミュレーションモデルを構築するために使用される。
独立して独立したイベントシミュレーターでモデルを実装し、実験を行うためのツールキットを提供する。
論文 参考訳（メタデータ） (2020-06-22T19:55:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。