論文の概要: MLModelCI: An Automatic Cloud Platform for Efficient MLaaS
- arxiv url: http://arxiv.org/abs/2006.05096v1
- Date: Tue, 9 Jun 2020 07:48:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 15:49:21.098013
- Title: MLModelCI: An Automatic Cloud Platform for Efficient MLaaS
- Title(参考訳): MLModelCI - 効率的なMLaaSのためのクラウドプラットフォーム
- Authors: Huaizheng Zhang, Yuanming Li, Yizheng Huang, Yonggang Wen, Jianxiong
Yin and Kyle Guan
- Abstract要約: 当社はこのプラットフォームを,Apache 2.0ライセンス下でGitHub上でオープンソースプロジェクトとしてリリースしています。
私たちのシステムは、現在のMLトレーニングとサービスシステムのギャップを埋めます。
- 参考スコア(独自算出の注目度): 15.029094196394862
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: MLModelCI provides multimedia researchers and developers with a one-stop
platform for efficient machine learning (ML) services. The system leverages
DevOps techniques to optimize, test, and manage models. It also containerizes
and deploys these optimized and validated models as cloud services (MLaaS). In
its essence, MLModelCI serves as a housekeeper to help users publish models.
The models are first automatically converted to optimized formats for
production purpose and then profiled under different settings (e.g., batch size
and hardware). The profiling information can be used as guidelines for
balancing the trade-off between performance and cost of MLaaS. Finally, the
system dockerizes the models for ease of deployment to cloud environments. A
key feature of MLModelCI is the implementation of a controller, which allows
elastic evaluation which only utilizes idle workers while maintaining online
service quality. Our system bridges the gap between current ML training and
serving systems and thus free developers from manual and tedious work often
associated with service deployment. We release the platform as an open-source
project on GitHub under Apache 2.0 license, with the aim that it will
facilitate and streamline more large-scale ML applications and research
projects.
- Abstract(参考訳): MLModelCIは、マルチメディア研究者と開発者に対して、効率的な機械学習(ML)サービスのためのワンストッププラットフォームを提供する。
このシステムは、モデル最適化、テスト、管理にDevOps技術を活用する。
また、これらの最適化および検証されたモデルをクラウドサービス(MLaaS)としてコンテナ化し、デプロイする。
MLModelCIは本質的に、モデルのパブリッシュを支援するハウスキーパーとして機能する。
モデルはまず製品向けに最適化されたフォーマットに自動的に変換され、異なる設定(バッチサイズやハードウェアなど)でプロファイルされる。
プロファイリング情報は、MLaaSのパフォーマンスとコストのトレードオフをバランスするためのガイドラインとして使用できる。
最後に、システムはクラウド環境へのデプロイを容易にするためにモデルをダッカー化する。
MLModelCIの重要な特徴は、オンラインサービス品質を維持しながらアイドルワーカーのみを利用する弾性評価を可能にするコントローラの実装である。
当社のシステムは、現在のmlトレーニングとサービスシステムのギャップを埋めることで、サービスデプロイメントに関連する手作業や退屈な作業から開発者を解放します。
私たちはこのプラットフォームを、Apache 2.0ライセンスの下でGitHub上のオープンソースプロジェクトとしてリリースし、より大規模なMLアプリケーションや研究プロジェクトの簡素化と合理化を目的としています。
関連論文リスト
- Mini-InternVL: A Flexible-Transfer Pocket Multimodal Model with 5% Parameters and 90% Performance [78.48606021719206]
Mini-InternVL は 1B から 4B までのパラメータを持つ一連の MLLM であり、パラメータの 5% しか持たない性能の90% を達成している。
我々は,ダウンストリームタスクにおける特化モデルの転送と性能向上を可能にする,Mini-InternVLの統一適応フレームワークを開発した。
論文 参考訳(メタデータ) (2024-10-21T17:58:20Z) - A Large-Scale Study of Model Integration in ML-Enabled Software Systems [4.776073133338119]
機械学習(ML)とそのシステムへの組み込みは、ソフトウェア集約システムのエンジニアリングを大きく変えた。
伝統的に、ソフトウェアエンジニアリングは、ソースコードやそれらを作成するプロセスなど、手作業で作成したアーティファクトに焦点を当てている。
我々は、GitHub上で2,928以上のオープンソースシステムをカバーする、実際のML対応ソフトウェアシステムに関する最初の大規模な研究を提示する。
論文 参考訳(メタデータ) (2024-08-12T15:28:40Z) - ML-SUPERB 2.0: Benchmarking Multilingual Speech Models Across Modeling Constraints, Languages, and Datasets [106.7760874400261]
本稿では、事前訓練されたSSLと教師付き音声モデルを評価するための新しいベンチマークであるML-SUPERB2.0を提案する。
ML-SUPERBのセットアップよりも性能が向上するが、性能は下流モデル設計に依存している。
また、言語とデータセットのパフォーマンスに大きな違いがあることから、よりターゲットを絞ったアプローチの必要性も示唆されている。
論文 参考訳(メタデータ) (2024-06-12T21:01:26Z) - Model Share AI: An Integrated Toolkit for Collaborative Machine Learning
Model Development, Provenance Tracking, and Deployment in Python [0.0]
モデル共有AI(AIMS)は、コラボレーティブモデル開発、モデル前駆者追跡、モデルデプロイメントを合理化するように設計された、使いやすいMLOpsプラットフォームである。
AIMSは、協調的なプロジェクト空間と、見当たらない評価データに基づいてモデル提出をランク付けする標準化されたモデル評価プロセスを備えている。
AIMSでは、Scikit-Learn、Keras、PyTorch、ONNXで構築されたMLモデルを、ライブREST APIや自動生成されたWebアプリにデプロイすることができる。
論文 参考訳(メタデータ) (2023-09-27T15:24:39Z) - ModelScope-Agent: Building Your Customizable Agent System with
Open-source Large Language Models [74.64651681052628]
本稿では,オープンソースのLCMをコントローラとする実世界のアプリケーションのためのカスタマイズ可能なエージェントフレームワークであるModelScope-Agentを紹介する。
ユーザフレンドリーなシステムライブラリを提供し、カスタマイズ可能なエンジン設計により、複数のオープンソースLLMでモデルトレーニングをサポートする。
ツール使用データ収集、ツール検索、ツール登録、メモリ制御、カスタマイズされたモデルトレーニング、評価にまたがる包括的なフレームワークが提案されている。
論文 参考訳(メタデータ) (2023-09-02T16:50:30Z) - MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。
各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。
ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。
品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
論文 参考訳(メタデータ) (2023-08-25T01:41:04Z) - Prompt2Model: Generating Deployable Models from Natural Language
Instructions [74.19816829003729]
大規模言語モデル(LLM)により、システムビルダーはプロンプトによって有能なNLPシステムを作成することができる。
言い換えれば、LSMは従来の特殊目的のNLPモデルとは逆のステップである。
本稿では,LLMに提供されるプロンプトのように自然言語によるタスク記述を行う汎用手法であるPrompt2Modelを提案する。
論文 参考訳(メタデータ) (2023-08-23T17:28:21Z) - MLOps: A Step Forward to Enterprise Machine Learning [0.0]
この研究は、MLOps、そのメリット、困難、進化、および重要な基盤技術に関する詳細なレビューを提示する。
MLOpsワークフローは、モデルとデータ探索とデプロイメントの両方に必要なさまざまなツールとともに、詳細に説明されている。
この記事では、さまざまな成熟度の高い自動パイプラインを使用して、MLプロジェクトのエンドツーエンド生産にも光を当てます。
論文 参考訳(メタデータ) (2023-05-27T20:44:14Z) - OmniForce: On Human-Centered, Large Model Empowered and Cloud-Edge
Collaborative AutoML System [85.8338446357469]
我々は人間中心のAutoMLシステムであるOmniForceを紹介した。
我々は、OmniForceがAutoMLシステムを実践し、オープン環境シナリオにおける適応型AIを構築する方法について説明する。
論文 参考訳(メタデータ) (2023-03-01T13:35:22Z) - ModelCI-e: Enabling Continual Learning in Deep Learning Serving Systems [21.37434583546624]
本稿では,この問題を解決するために,ModelCI-e(継続的インテグレーションと進化)と呼ばれる軽量MLOpsプラグインを実装した。
ModelCI-eは継続学習(CL)とMLデプロイメント技術を採用し、モデルの更新と検証をエンドツーエンドでサポートする。
予備的な結果は、ModelCI-eのユーザビリティを示し、モデル更新と推論ワークロード間の干渉を取り除くことが、システム効率の向上に不可欠であることを示している。
論文 参考訳(メタデータ) (2021-06-06T13:28:51Z) - CodeReef: an open platform for portable MLOps, reusable automation
actions and reproducible benchmarking [0.2148535041822524]
CodeReef - クロスプラットフォームMLOps(MLSysOps)を実現するために必要なすべてのコンポーネントを共有するオープンプラットフォームを提供する。
CodeReefソリューションも導入しています – 非仮想化、ポータブル、カスタマイズ可能なアーカイブファイルとしてモデルをパッケージ化し、共有する手段です。
論文 参考訳(メタデータ) (2020-01-22T09:52:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。