論文の概要: Scalability and Maintainability Challenges and Solutions in Machine Learning: Systematic Literature Review
- arxiv url: http://arxiv.org/abs/2504.11079v1
- Date: Tue, 15 Apr 2025 11:24:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-16 22:12:06.348171
- Title: Scalability and Maintainability Challenges and Solutions in Machine Learning: Systematic Literature Review
- Title(参考訳): 機械学習におけるスケーラビリティと保守性の問題と解決策: 体系的文献レビュー
- Authors: Karthik Shivashankar, Ghadi S. Al Hajj, Antonio Martini,
- Abstract要約: 本稿では,機械学習(ML)システムにおけるスケーラビリティと保守性に関する重要な課題と解決策について考察する。
MLアプリケーションがますます複雑になり、業界全体に広まっていくにつれ、システムのスケーラビリティと長期的な保守性とのバランスの必要性が大きな懸念事項となっている。
我々は124の論文を分析し、41の保守性課題と13のスケーラビリティ課題とそれに対応するソリューションを特定し、分類した。
- 参考スコア(独自算出の注目度): 5.044100238869375
- License:
- Abstract: This systematic literature review examines the critical challenges and solutions related to scalability and maintainability in Machine Learning (ML) systems. As ML applications become increasingly complex and widespread across industries, the need to balance system scalability with long-term maintainability has emerged as a significant concern. This review synthesizes current research and practices addressing these dual challenges across the entire ML life-cycle, from data engineering to model deployment in production. We analyzed 124 papers to identify and categorize 41 maintainability challenges and 13 scalability challenges, along with their corresponding solutions. Our findings reveal intricate inter dependencies between scalability and maintainability, where improvements in one often impact the other. The review is structured around six primary research questions, examining maintainability and scalability challenges in data engineering, model engineering, and ML system development. We explore how these challenges manifest differently across various stages of the ML life-cycle. This comprehensive overview offers valuable insights for both researchers and practitioners in the field of ML systems. It aims to guide future research directions, inform best practices, and contribute to the development of more robust, efficient, and sustainable ML applications across various domains.
- Abstract(参考訳): 本稿では,機械学習(ML)システムにおけるスケーラビリティと保守性に関する重要な課題と解決策について考察する。
MLアプリケーションがますます複雑になり、業界全体に広まっていくにつれ、システムのスケーラビリティと長期的な保守性とのバランスの必要性が大きな懸念事項となっている。
このレビューは、データエンジニアリングから本番環境におけるモデルデプロイメントに至るまで、MLライフサイクル全体にわたるこれらの2つの課題に対処する現在の研究とプラクティスを合成する。
我々は124の論文を分析し、41の保守性課題と13のスケーラビリティ課題とそれに対応するソリューションを特定し、分類した。
この結果から,スケーラビリティと保守性の間の依存関係が複雑であることが判明した。
このレビューは、データエンジニアリング、モデルエンジニアリング、MLシステム開発における保守性とスケーラビリティの課題を調べる6つの主要な研究課題を中心に構成されている。
MLライフサイクルの様々な段階において、これらの課題がどのように異なる形で現れるのかを考察する。
この包括的概要は、MLシステム分野の研究者と実践者の両方に貴重な洞察を提供する。
将来の研究の方向性を導き、ベストプラクティスを伝え、さまざまな領域にわたるより堅牢で効率的で持続可能なMLアプリケーションの開発に貢献することを目指している。
関連論文リスト
- Towards Trustworthy Machine Learning in Production: An Overview of the Robustness in MLOps Approach [0.0]
近年、AI研究者や実践家は、信頼性と信頼性のある意思決定を行うシステムを構築するための原則とガイドラインを導入している。
実際には、システムが運用され、実際の環境で継続的に進化し、運用するためにデプロイされる必要がある場合に、根本的な課題が発生する。
この課題に対処するため、MLOps(Machine Learning Operations)は、デプロイメントにおけるMLソリューションを標準化するための潜在的なレシピとして登場した。
論文 参考訳(メタデータ) (2024-10-28T09:34:08Z) - Towards LifeSpan Cognitive Systems [94.8985839251011]
複雑な環境と継続的に対話する人間のようなシステムを構築することは、いくつかの重要な課題を提示します。
我々は、この想定されたシステムをLifeSpan Cognitive System (LSCS)と呼ぶ。
LSCSの重要な特徴は、過去の経験を維持し、正確にリコールしながら、インクリメンタルで迅速な更新を行う機能である。
論文 参考訳(メタデータ) (2024-09-20T06:54:00Z) - Maintainability Challenges in ML: A Systematic Literature Review [5.669063174637433]
本研究の目的は,機械学習ワークフローのさまざまな段階における保守性課題を特定し,合成することである。
13,000件以上の論文を審査し、56件を質的に分析した。
論文 参考訳(メタデータ) (2024-08-17T13:24:15Z) - A Comprehensive Review of Multimodal Large Language Models: Performance and Challenges Across Different Tasks [74.52259252807191]
MLLM(Multimodal Large Language Models)は、単一のモダリティシステムの能力を超えた現実世界のアプリケーションの複雑さに対処する。
本稿では,自然言語,視覚,音声などのマルチモーダルタスクにおけるMLLMの応用を体系的に整理する。
論文 参考訳(メタデータ) (2024-08-02T15:14:53Z) - Naming the Pain in Machine Learning-Enabled Systems Engineering [8.092979562919878]
機械学習(ML)対応システムは、企業によってますます採用されている。
本稿では,ML対応システムの現状を概観する。
論文 参考訳(メタデータ) (2024-05-20T06:59:20Z) - Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - Machine Learning Approaches for Diagnostics and Prognostics of Industrial Systems Using Open Source Data from PHM Data Challenges: A Review [0.32885740436059047]
本稿では,オープンソースのデータセットを用いた産業システムの診断・診断のための機械学習手法について概説する。
これは、複雑な産業タスクに取り組む上で、従来の機械学習とディープラーニングの両方が進化する役割を強調している。
論文 参考訳(メタデータ) (2023-12-28T04:00:25Z) - Competition-Level Problems are Effective LLM Evaluators [121.15880285283116]
本稿では,Codeforcesにおける最近のプログラミング問題の解決において,大規模言語モデル(LLM)の推論能力を評価することを目的とする。
まず,問題の発生時間,難易度,遭遇したエラーの種類など,様々な側面を考慮して,GPT-4の望ましくないゼロショット性能を総合的に評価する。
驚くべきことに、GPT-4のTheThoughtivedのパフォーマンスは、2021年9月以降、あらゆる困難と種類の問題に対して一貫して問題が減少するような崖を経験している。
論文 参考訳(メタデータ) (2023-12-04T18:58:57Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳(メタデータ) (2021-03-02T22:50:45Z) - Machine Learning Towards Intelligent Systems: Applications, Challenges,
and Opportunities [8.68311678910946]
機械学習(ML)は、人間が大量のデータを処理するためのメカニズムを提供する。
このレビューは教育、医療、ネットワークセキュリティ、銀行と金融、ソーシャルメディアといった分野と応用に焦点を当てている。
論文 参考訳(メタデータ) (2021-01-11T01:32:15Z) - Machine Learning in Nano-Scale Biomedical Engineering [77.75587007080894]
ナノスケールバイオメディカルエンジニアリングにおける機械学習の利用に関する既存の研究について概説する。
ML問題として定式化できる主な課題は、3つの主要なカテゴリに分類される。
提示された方法論のそれぞれについて、その原則、応用、制限に特に重点を置いている。
論文 参考訳(メタデータ) (2020-08-05T15:45:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。