論文の概要: Modyn: Data-Centric Machine Learning Pipeline Orchestration

• arxiv url: http://arxiv.org/abs/2312.06254v2
• Date: Mon, 25 Nov 2024 08:46:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:17:25.775077
• Title: Modyn: Data-Centric Machine Learning Pipeline Orchestration
• Title（参考訳）: Modyn: データ中心の機械学習パイプラインオーケストレーション
• Authors: Maximilian Böther, Ties Robroek, Viktor Gsteiger, Robin Holzinger, Xianzhe Ma, Pınar Tözün, Ana Klimovic,
• Abstract要約: Modynは、データ中心のエンドツーエンド機械学習プラットフォームである。 データ中心のエンドツーエンド機械学習プラットフォームであるModynを紹介します。
• 参考スコア（独自算出の注目度）: 1.4448995242976572
• License:
• Abstract: In real-world machine learning (ML) pipelines, datasets are continuously growing. Models must incorporate this new training data to improve generalization and adapt to potential distribution shifts. The cost of model retraining is proportional to how frequently the model is retrained and how much data it is trained on, which makes the naive approach of retraining from scratch each time impractical. We present Modyn, a data-centric end-to-end machine learning platform. Modyn's ML pipeline abstraction enables users to declaratively describe policies for continuously training a model on a growing dataset. Modyn pipelines allow users to apply data selection policies (to reduce the number of data points) and triggering policies (to reduce the number of trainings). Modyn executes and orchestrates these continuous ML training pipelines. The system is open-source and comes with an ecosystem of benchmark datasets, models, and tooling. We formally discuss how to measure the performance of ML pipelines by introducing the concept of composite models, enabling fair comparison of pipelines with different data selection and triggering policies. We empirically analyze how various data selection and triggering policies impact model accuracy, and also show that Modyn enables high throughput training with sample-level data selection.
• Abstract（参考訳）: 現実世界の機械学習(ML)パイプラインでは、データセットは継続的に成長している。 モデルは、一般化を改善し、潜在的分布シフトに適応するために、この新しいトレーニングデータを組み込まなければならない。 モデル再トレーニングのコストは、モデルの再トレーニングの頻度とトレーニングされるデータの量に比例する。 データ中心のエンドツーエンド機械学習プラットフォームであるModynを紹介します。 ModynのMLパイプライン抽象化は、成長するデータセット上でモデルを継続的にトレーニングするポリシを宣言的に記述することを可能にする。 Modynパイプラインを使用すると、ユーザーはデータ選択ポリシー(データポイント数を減らす)とポリシー(トレーニング数を減らす)を適用することができる。 Modynはこれらの継続的MLトレーニングパイプラインを実行し、オーケストレーションする。 システムはオープンソースで、ベンチマークデータセット、モデル、ツーリングのエコシステムを備えている。 合成モデルの概念を導入し、データ選択とトリガーポリシによるパイプラインの公正な比較を可能にすることで、MLパイプラインのパフォーマンスを計測する方法を正式に議論する。 各種データ選択およびトリガーポリシーがモデル精度に与える影響を実証的に分析し、また、Modynがサンプルレベルのデータ選択による高いスループットトレーニングを可能にすることを示す。

関連論文リスト

• Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
  オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。 提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
  論文  参考訳（メタデータ） (2024-04-22T09:16:14Z)
• No "Zero-Shot" Without Exponential Data: Pretraining Concept Frequency Determines Multimodal Model Performance [68.18779562801762]
  マルチモーダルモデルは、下流の"ゼロショット"のパフォーマンスを線形改善するために、指数関数的に多くのデータを必要とする。 本研究は,大規模な訓練パラダイムの下での「ゼロショット」一般化能力の鍵となる訓練データに対する指数関数的要求を明らかにする。
  論文  参考訳（メタデータ） (2024-04-04T17:58:02Z)
• Pre-training on Synthetic Driving Data for Trajectory Prediction [61.520225216107306]
  軌道予測におけるデータ不足の問題を緩和するパイプラインレベルのソリューションを提案する。 我々は、駆動データを生成するためにHDマップ拡張とトラジェクトリ合成を採用し、それらを事前学習することで表現を学習する。 我々は、データ拡張と事前学習戦略の有効性を実証するための広範な実験を行う。
  論文  参考訳（メタデータ） (2023-09-18T19:49:22Z)
• Universal Metric Learning with Parameter-Efficient Transfer Learning [40.85295050164728]
  メトリック学習における一般的なプラクティスは、データセット毎に埋め込みモデルをトレーニングし、テストすることである。 このデータセット固有のアプローチは、複数の異種データの分散を含む実世界のシナリオをシミュレートすることができない。 本稿では,複数のデータ分布にまたがる関係を捉えることのできる統一されたメトリックを学習するUniversal Metric Learning(UML)という,新しいメトリック学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2023-09-16T10:34:01Z)
• SOTASTREAM: A Streaming Approach to Machine Translation Training [13.39347756245191]
  多くの機械翻訳ツールキットは、生データをトレーナーが直接使用できるテンソル形式に変換するデータ準備ステップを利用する。 本稿では,そのデータ消費からデータ生成を分離する代替手法を提案する。 このアプローチでは、個別の事前処理ステップはなく、データ生成は生のトレーニングデータの置換の無限のストリームを生成する。
  論文  参考訳（メタデータ） (2023-08-14T22:47:19Z)
• TRAK: Attributing Model Behavior at Scale [79.56020040993947]
  本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T17:56:22Z)
• Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning [119.70303730341938]
  データフリーメタトレーニングにおけるePisode cUrriculum inversion(ECI)と、内部ループ後のinvErsion calibRation(ICFIL)を提案する。 ECIは、メタモデルのリアルタイムフィードバックに応じて、擬似エピソードの難易度を適応的に増加させる。 本稿では,ECIを用いたメタトレーニングの最適化過程を,エンド・ツー・エンド方式で近似形式として定式化する。
  論文  参考訳（メタデータ） (2023-03-20T15:10:41Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Data Debugging with Shapley Importance over End-to-End Machine Learning Pipelines [27.461398584509755]
  DataScopeは、エンドツーエンドの機械学習パイプライン上でトレーニング例のShapley値を効率的に計算する最初のシステムである。 以上の結果から,DataScopeは最先端のモンテカルロ法よりも最大4桁高速であることがわかった。
  論文  参考訳（メタデータ） (2022-04-23T19:29:23Z)
• It's the Best Only When It Fits You Most: Finding Related Models for Serving Based on Dynamic Locality Sensitive Hashing [1.581913948762905]
  トレーニングデータの作成は、生産や研究のためにディープラーニングモデルをデプロイするライフサイクルにおいて、しばしばボトルネックとなる。 本稿では,対象のデータセットと利用可能なモデルのトレーニングデータセットの類似性に基づいて,関連するモデルを検索してサービスするエンド・ツー・エンドプロセスを提案する。
  論文  参考訳（メタデータ） (2020-10-13T22:52:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。