論文の概要: Studying the Practices of Deploying Machine Learning Projects on Docker
- arxiv url: http://arxiv.org/abs/2206.00699v1
- Date: Wed, 1 Jun 2022 18:13:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-03 15:01:23.136946
- Title: Studying the Practices of Deploying Machine Learning Projects on Docker
- Title(参考訳): dockerに機械学習プロジェクトをデプロイするプラクティスを学ぶ
- Authors: Moses Openja, Forough Majidi, Foutse Khomh, Bhagya Chembakottu, Heng
Li
- Abstract要約: Dockerはコンテナ化サービスであり、Webサイト、データベース、アプリケーションのAPI、機械学習(ML)モデルを数行のコードで簡単にデプロイできる。
私たちは、MLベースのプロジェクトのデプロイにDockerがどのように使用されているのかを理解するために、探索的な調査を実施しました。
- 参考スコア(独自算出の注目度): 9.979005459305117
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Docker is a containerization service that allows for convenient deployment of
websites, databases, applications' APIs, and machine learning (ML) models with
a few lines of code. Studies have recently explored the use of Docker for
deploying general software projects with no specific focus on how Docker is
used to deploy ML-based projects.
In this study, we conducted an exploratory study to understand how Docker is
being used to deploy ML-based projects. As the initial step, we examined the
categories of ML-based projects that use Docker. We then examined why and how
these projects use Docker, and the characteristics of the resulting Docker
images. Our results indicate that six categories of ML-based projects use
Docker for deployment, including ML Applications, MLOps/ AIOps, Toolkits, DL
Frameworks, Models, and Documentation. We derived the taxonomy of 21 major
categories representing the purposes of using Docker, including those specific
to models such as model management tasks (e.g., testing, training). We then
showed that ML engineers use Docker images mostly to help with the platform
portability, such as transferring the software across the operating systems,
runtimes such as GPU, and language constraints. However, we also found that
more resources may be required to run the Docker images for building ML-based
software projects due to the large number of files contained in the image
layers with deeply nested directories. We hope to shed light on the emerging
practices of deploying ML software projects using containers and highlight
aspects that should be improved.
- Abstract(参考訳): Dockerはコンテナ化サービスであり、Webサイト、データベース、アプリケーションのAPI、機械学習(ML)モデルを数行のコードで簡単にデプロイできる。
研究は先頃、MLベースのプロジェクトのデプロイ方法に特に重点を置いていない、一般的なソフトウェアプロジェクトのデプロイにおけるDockerの使用について調査した。
本研究では,DockerがMLベースのプロジェクトのデプロイにどのように使用されているのかを理解するために,探索的研究を行った。
最初のステップとして、Dockerを使用するMLベースのプロジェクトのカテゴリを調査した。
そして、これらのプロジェクトがDockerを使う理由と方法、そして結果のDockerイメージの特徴を調べました。
MLベースのプロジェクトの6つのカテゴリでは、MLアプリケーション、MLOps/AIOps、ツールキット、DLフレームワーク、モデル、ドキュメントなど、デプロイにDockerを使用しています。
私たちは、モデル管理タスク(テスト、トレーニングなど)など、モデル固有のものを含む、Dockerの使用目的を表す21の主要なカテゴリの分類を導出しました。
そして、MLエンジニアが主にDockerイメージを使用して、OS間でソフトウェアを転送する、GPUなどのランタイム、言語制約などのプラットフォーム移植性を支援することを示した。
しかし、イメージレイヤに含まれる大量のファイルが、深くネストされたディレクトリを含むため、MLベースのソフトウェアプロジェクトを構築するためにDockerイメージを実行するために、より多くのリソースが必要であることもわかりました。
MLソフトウェアプロジェクトをコンテナを使ってデプロイする新たなプラクティスに光を当てて、改善すべき側面を強調したいと思っています。
関連論文リスト
- General Object Foundation Model for Images and Videos at Scale [99.2806103051613]
本稿では,画像やビデオ中の物体の位置と識別のためのオブジェクトレベルの基礎モデルであるGLEEを提案する。
GLEEは、オープンワールドシナリオにおける任意のオブジェクトの検出、セグメンテーション、トラッキング、グラウンド、識別を達成する。
画像エンコーダ,テキストエンコーダ,視覚プロンプトを用いて複数モーダル入力を処理し,様々なオブジェクト中心の下流タスクを同時に解決する。
論文 参考訳(メタデータ) (2023-12-14T17:26:00Z) - ML-Bench: Large Language Models Leverage Open-source Libraries for
Machine Learning Tasks [75.12666425091702]
大規模な言語モデルは、コード生成ベンチマークで有望なパフォーマンスを示している。
この研究は、LLMがオープンソースのライブラリを使用して機械学習タスクを終了する、新たな評価設定を提案することを目的としている。
論文 参考訳(メタデータ) (2023-11-16T12:03:21Z) - CRAFT: Customizing LLMs by Creating and Retrieving from Specialized
Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。
タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。
本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文 参考訳(メタデータ) (2023-09-29T17:40:26Z) - MLOps: A Step Forward to Enterprise Machine Learning [0.0]
この研究は、MLOps、そのメリット、困難、進化、および重要な基盤技術に関する詳細なレビューを提示する。
MLOpsワークフローは、モデルとデータ探索とデプロイメントの両方に必要なさまざまなツールとともに、詳細に説明されている。
この記事では、さまざまな成熟度の高い自動パイプラインを使用して、MLプロジェクトのエンドツーエンド生産にも光を当てます。
論文 参考訳(メタデータ) (2023-05-27T20:44:14Z) - Many or Few Samples? Comparing Transfer, Contrastive and Meta-Learning
in Encrypted Traffic Classification [68.19713459228369]
我々は、トランスファーラーニング、メタラーニング、コントラストラーニングを、参照機械学習(ML)ツリーベースおよびモノリシックDLモデルと比較する。
i) 大規模なデータセットを用いて,より一般的な表現を得られること,(ii) コントラスト学習が最良の手法であることを示している。
MLツリーベースでは大きなタスクは処理できないが、学習した表現を再利用することで、小さなタスクにも適合するが、DLメソッドはツリーベースモデルのパフォーマンスにも到達している。
論文 参考訳(メタデータ) (2023-05-21T11:20:49Z) - Patterns in Docker Compose Multi-Container Orchestration [5.1861106408299635]
この作業は、Docker Composeをオーケストレーションツールとして使用する成功したプロジェクトのデータセットをキュレートする。
次に、Docker Compose構成の質的、定量的分析に従事します。
データと分析の収集により、デプロイメントとオーケストレーションの繰り返しパターンの識別と命名が可能になる。
論文 参考訳(メタデータ) (2023-05-18T20:32:58Z) - VisionLLM: Large Language Model is also an Open-Ended Decoder for
Vision-Centric Tasks [81.32968995346775]
VisionLLMは視覚中心のタスクのためのフレームワークで、柔軟に定義され、言語命令を使って管理できる。
検出固有モデルと同等の精度で,COCO上で60%以上のmAPを達成できる。
論文 参考訳(メタデータ) (2023-05-18T17:59:42Z) - A Preliminary Investigation of MLOps Practices in GitHub [10.190501703364234]
機械学習アプリケーションはMLOpsへの関心が高まっている。
GitHubから取得したML対応システムのセットで実装されているMLOpsプラクティスについて、まず最初に調査する。
論文 参考訳(メタデータ) (2022-09-23T07:29:56Z) - Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。
古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。
我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2022-03-31T13:46:41Z) - Empirical Study on the Software Engineering Practices in Open Source ML
Package Repositories [6.2894222252929985]
現代の機械学習技術は、そのようなモデルを開発し、訓練し、デプロイするために、かなりの技術的専門知識とリソースを必要とする。
実践者や研究者によるこのような発見と再利用は、パブリックMLパッケージリポジトリによって対処されている。
本稿では,2つの人気MLパッケージリポジトリの構造と内容を分析する探索的研究を行う。
論文 参考訳(メタデータ) (2020-12-02T18:52:56Z) - MLModelCI: An Automatic Cloud Platform for Efficient MLaaS [15.029094196394862]
当社はこのプラットフォームを,Apache 2.0ライセンス下でGitHub上でオープンソースプロジェクトとしてリリースしています。
私たちのシステムは、現在のMLトレーニングとサービスシステムのギャップを埋めます。
論文 参考訳(メタデータ) (2020-06-09T07:48:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。