論文の概要: An Efficient Model Maintenance Approach for MLOps
- arxiv url: http://arxiv.org/abs/2412.04657v1
- Date: Thu, 05 Dec 2024 23:02:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-09 15:57:47.911627
- Title: An Efficient Model Maintenance Approach for MLOps
- Title(参考訳): MLOpsのための効率的なモデル保守手法
- Authors: Forough Majidi, Foutse Khomh, Heng Li, Amin Nikanjam,
- Abstract要約: 既存の機械学習モデルメンテナンスアプローチは、しばしば計算資源集約、コスト、時間消費、モデル依存である。
我々は、MLOpsパイプラインの改善、新しいモデルメンテナンスアプローチ、およびMLモデルメンテナンスの課題に対処するためのSim sameity Based Model Reuse(SimReuse)ツールを提案する。
4つの時系列データセットに対する評価結果から,モデル再利用手法がモデルの性能を維持できることを示すとともに,メンテナンス時間とコストを大幅に削減できることを示した。
- 参考スコア(独自算出の注目度): 14.239954811469506
- License:
- Abstract: In recent years, many industries have utilized machine learning models (ML) in their systems. Ideally, machine learning models should be trained on and applied to data from the same distributions. However, the data evolves over time in many application areas, leading to data and concept drift, which in turn causes the performance of the ML models to degrade over time. Therefore, maintaining up to date ML models plays a critical role in the MLOps pipeline. Existing ML model maintenance approaches are often computationally resource intensive, costly, time consuming, and model dependent. Thus, we propose an improved MLOps pipeline, a new model maintenance approach and a Similarity Based Model Reuse (SimReuse) tool to address the challenges of ML model maintenance. We identify seasonal and recurrent distribution patterns in time series datasets throughout a preliminary study. Recurrent distribution patterns enable us to reuse previously trained models for similar distributions in the future, thus avoiding frequent retraining. Then, we integrated the model reuse approach into the MLOps pipeline and proposed our improved MLOps pipeline. Furthermore, we develop SimReuse, a tool to implement the new components of our MLOps pipeline to store models and reuse them for inference of data segments with similar data distributions in the future. Our evaluation results on four time series datasets demonstrate that our model reuse approach can maintain the performance of models while significantly reducing maintenance time and costs. Our model reuse approach achieves ML performance comparable to the best baseline, while being 15 times more efficient in terms of computation time and costs. Therefore, industries and practitioners can benefit from our approach and use our tool to maintain the performance of their ML models in the deployment phase to reduce their maintenance costs.
- Abstract(参考訳): 近年、多くの産業が機械学習モデル(ML)をシステムで利用している。
理想的には、機械学習モデルはトレーニングされ、同じディストリビューションのデータに適用されるべきである。
しかし、データは多くのアプリケーション領域で時間とともに進化し、データや概念のドリフトにつながるため、MLモデルのパフォーマンスは時間の経過とともに低下する。
そのため、MLOpsパイプラインでは、最新のMLモデルをメンテナンスすることが重要な役割を果たす。
既存のMLモデルのメンテナンスアプローチは、しばしば計算資源集約、コスト、時間消費、モデル依存である。
そこで我々は、MLOpsパイプラインの改善、新しいモデルメンテナンスアプローチ、およびMLモデルメンテナンスの課題に対処するためのSim sameity Based Model Reuse(SimReuse)ツールを提案する。
時系列データセットにおける季節分布パターンと反復分布パターンを予備研究を通して同定する。
リカレントな分散パターンにより、将来、同様の分散のためにトレーニング済みのモデルを再利用できるため、頻繁な再トレーニングを避けることができる。
そして、モデルの再利用アプローチをMLOpsパイプラインに統合し、改善されたMLOpsパイプラインを提案しました。
さらに,MLOpsパイプラインの新たなコンポーネントを実装するツールであるSimReuseも開発しています。
4つの時系列データセットに対する評価結果から,モデル再利用手法がモデルの性能を維持できることを示すとともに,メンテナンス時間とコストを大幅に削減できることを示した。
我々のモデル再利用アプローチは、計算時間とコストの面で15倍の効率で、最高のベースラインに匹敵するML性能を実現する。
したがって、業界や実践者は、我々のアプローチの恩恵を受け、私たちのツールを使って、デプロイメントフェーズにおけるMLモデルのパフォーマンスを維持し、メンテナンスコストを削減できます。
関連論文リスト
- Multiagent Finetuning: Self Improvement with Diverse Reasoning Chains [114.76612918465948]
大規模言語モデル(LLM)は近年顕著なパフォーマンスを達成しているが、基礎となるトレーニングデータによって根本的に制限されている。
本稿では,言語モデルのマルチエージェント社会にファインタニングを適用した自己改善への補完的アプローチを提案する。
論文 参考訳(メタデータ) (2025-01-10T04:35:46Z) - Reprogramming Foundational Large Language Models(LLMs) for Enterprise Adoption for Spatio-Temporal Forecasting Applications: Unveiling a New Era in Copilot-Guided Cross-Modal Time Series Representation Learning [0.0]
パティオ時間予測は、輸送システム、物流、サプライチェーン管理など、様々な分野において重要な役割を担っている。
本稿では,オープンソースの大規模・小規模言語モデル(LLM,LM)と従来の予測手法を組み合わせたハイブリッド手法を提案する。
論文 参考訳(メタデータ) (2024-08-26T16:11:53Z) - EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。
EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文 参考訳(メタデータ) (2024-05-23T05:25:45Z) - Recency-Weighted Temporally-Segmented Ensemble for Time-Series Modeling [0.0]
プロセス産業における時系列モデリングは、複雑で多面的で進化するデータ特性を扱うという課題に直面している。
マルチステップ予測のための新しいチャンクベースアプローチであるRecency-Weighted Temporally-Segmented(ReWTS)アンサンブルモデルを導入する。
ノルウェーの排水処理場と飲料水処理場からの2年間のデータをもとに,比較分析を行った。
論文 参考訳(メタデータ) (2024-03-04T16:00:35Z) - A Framework for Monitoring and Retraining Language Models in Real-World
Applications [3.566775910781198]
多くの現実世界のアプリケーションでは、継続的モデル監視とモデル再トレーニングが必要になります。
データやコンセプトドリフトなどの再トレーニングにはさまざまな理由があり、適切なメトリックによって監視されるモデルのパフォーマンスに反映される可能性がある。
マルチラベル分類モデルを用いて, モデル性能や資源利用などの重要な要因に対する各種リトレーニング決定点の影響について検討する。
論文 参考訳(メタデータ) (2023-11-16T14:32:18Z) - On the Costs and Benefits of Adopting Lifelong Learning for Software
Analytics -- Empirical Study on Brown Build and Risk Prediction [17.502553991799832]
本稿では,ユビソフトにおける産業用ユースケースにおける生涯学習(LL)の利用について検討する。
LLは、新しいデータを使用して古いモデルを段階的に更新するインクリメンタルラーナを使用して、MLベースのソフトウェア分析ツールを継続的に構築し、メンテナンスするために使用される。
論文 参考訳(メタデータ) (2023-05-16T21:57:16Z) - Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。
しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。
これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
論文 参考訳(メタデータ) (2023-04-05T07:28:33Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。
リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。
モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
論文 参考訳(メタデータ) (2022-02-22T02:33:54Z) - Bellman: A Toolbox for Model-Based Reinforcement Learning in TensorFlow [14.422129911404472]
Bellmanはこのギャップを埋めることを目指しており、モデルベースのRLツールボックスを初めて完全に設計し、テストした。
我々のモジュラーアプローチは、幅広い環境モデルと、最先端アルゴリズムを復元する汎用モデルベースのエージェントクラスを組み合わせることができる。
論文 参考訳(メタデータ) (2021-03-26T11:32:27Z) - VAE-LIME: Deep Generative Model Based Approach for Local Data-Driven
Model Interpretability Applied to the Ironmaking Industry [70.10343492784465]
モデル予測だけでなく、その解釈可能性も、プロセスエンジニアに公開する必要があります。
LIMEに基づくモデルに依存しない局所的解釈可能性ソリューションが最近出現し、元の手法が改良された。
本稿では, 燃焼炉で生成する高温金属の温度を推定するデータ駆動型モデルの局所的解釈可能性に関する新しいアプローチ, VAE-LIMEを提案する。
論文 参考訳(メタデータ) (2020-07-15T07:07:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。