論文の概要: Studying the Practices of Deploying Machine Learning Projects on Docker
- arxiv url: http://arxiv.org/abs/2206.00699v1
- Date: Wed, 1 Jun 2022 18:13:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-03 15:01:23.136946
- Title: Studying the Practices of Deploying Machine Learning Projects on Docker
- Title(参考訳): dockerに機械学習プロジェクトをデプロイするプラクティスを学ぶ
- Authors: Moses Openja, Forough Majidi, Foutse Khomh, Bhagya Chembakottu, Heng
Li
- Abstract要約: Dockerはコンテナ化サービスであり、Webサイト、データベース、アプリケーションのAPI、機械学習(ML)モデルを数行のコードで簡単にデプロイできる。
私たちは、MLベースのプロジェクトのデプロイにDockerがどのように使用されているのかを理解するために、探索的な調査を実施しました。
- 参考スコア(独自算出の注目度): 9.979005459305117
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Docker is a containerization service that allows for convenient deployment of
websites, databases, applications' APIs, and machine learning (ML) models with
a few lines of code. Studies have recently explored the use of Docker for
deploying general software projects with no specific focus on how Docker is
used to deploy ML-based projects.
In this study, we conducted an exploratory study to understand how Docker is
being used to deploy ML-based projects. As the initial step, we examined the
categories of ML-based projects that use Docker. We then examined why and how
these projects use Docker, and the characteristics of the resulting Docker
images. Our results indicate that six categories of ML-based projects use
Docker for deployment, including ML Applications, MLOps/ AIOps, Toolkits, DL
Frameworks, Models, and Documentation. We derived the taxonomy of 21 major
categories representing the purposes of using Docker, including those specific
to models such as model management tasks (e.g., testing, training). We then
showed that ML engineers use Docker images mostly to help with the platform
portability, such as transferring the software across the operating systems,
runtimes such as GPU, and language constraints. However, we also found that
more resources may be required to run the Docker images for building ML-based
software projects due to the large number of files contained in the image
layers with deeply nested directories. We hope to shed light on the emerging
practices of deploying ML software projects using containers and highlight
aspects that should be improved.
- Abstract(参考訳): Dockerはコンテナ化サービスであり、Webサイト、データベース、アプリケーションのAPI、機械学習(ML)モデルを数行のコードで簡単にデプロイできる。
研究は先頃、MLベースのプロジェクトのデプロイ方法に特に重点を置いていない、一般的なソフトウェアプロジェクトのデプロイにおけるDockerの使用について調査した。
本研究では,DockerがMLベースのプロジェクトのデプロイにどのように使用されているのかを理解するために,探索的研究を行った。
最初のステップとして、Dockerを使用するMLベースのプロジェクトのカテゴリを調査した。
そして、これらのプロジェクトがDockerを使う理由と方法、そして結果のDockerイメージの特徴を調べました。
MLベースのプロジェクトの6つのカテゴリでは、MLアプリケーション、MLOps/AIOps、ツールキット、DLフレームワーク、モデル、ドキュメントなど、デプロイにDockerを使用しています。
私たちは、モデル管理タスク(テスト、トレーニングなど)など、モデル固有のものを含む、Dockerの使用目的を表す21の主要なカテゴリの分類を導出しました。
そして、MLエンジニアが主にDockerイメージを使用して、OS間でソフトウェアを転送する、GPUなどのランタイム、言語制約などのプラットフォーム移植性を支援することを示した。
しかし、イメージレイヤに含まれる大量のファイルが、深くネストされたディレクトリを含むため、MLベースのソフトウェアプロジェクトを構築するためにDockerイメージを実行するために、より多くのリソースが必要であることもわかりました。
MLソフトウェアプロジェクトをコンテナを使ってデプロイする新たなプラクティスに光を当てて、改善すべき側面を強調したいと思っています。
関連論文リスト
- Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
VLM(Vision-Language Models)は、様々な視覚タスクにまたがる顕著な能力を示す。
現在のVLMには基本的な認知能力がなく、コンテキストを考慮し、シーン内のオブジェクトをローカライズすることを学ぶ。
この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
論文 参考訳(メタデータ) (2024-11-20T13:34:22Z) - On the Cost of Model-Serving Frameworks: An Experimental Evaluation [2.6232657671486983]
実運用環境でモデルを効果的にデプロイし、管理するためには、サービング戦略が不可欠です。
これらの戦略により、実際のアプリケーションでモデルが利用可能で、スケーラブルで、信頼性があり、パフォーマンスが保証される。
DL固有のフレームワーク(TensorFlow ServingとTorchServe)は、3つの汎用MLフレームワークよりも大幅にレイテンシが低いことを示す。
論文 参考訳(メタデータ) (2024-11-15T16:36:21Z) - MOWA: Multiple-in-One Image Warping Model [65.73060159073644]
本研究で提案するマルチ・イン・ワン・イメージ・ワープ・モデル(MOWA)について述べる。
領域レベルと画素レベルでの動作推定を両立させることにより,マルチタスク学習の難しさを軽減する。
私たちの知る限り、これは1つのモデルで複数の実用的なワープタスクを解決する最初の作業です。
論文 参考訳(メタデータ) (2024-04-16T16:50:35Z) - General Object Foundation Model for Images and Videos at Scale [99.2806103051613]
本稿では,画像やビデオ中の物体の位置と識別のためのオブジェクトレベルの基礎モデルであるGLEEを提案する。
GLEEは、オープンワールドシナリオにおける任意のオブジェクトの検出、セグメンテーション、トラッキング、グラウンド、識別を達成する。
画像エンコーダ,テキストエンコーダ,視覚プロンプトを用いて複数モーダル入力を処理し,様々なオブジェクト中心の下流タスクを同時に解決する。
論文 参考訳(メタデータ) (2023-12-14T17:26:00Z) - ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。
LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
論文 参考訳(メタデータ) (2023-11-16T12:03:21Z) - CRAFT: Customizing LLMs by Creating and Retrieving from Specialized
Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。
タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。
本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文 参考訳(メタデータ) (2023-09-29T17:40:26Z) - MLOps: A Step Forward to Enterprise Machine Learning [0.0]
この研究は、MLOps、そのメリット、困難、進化、および重要な基盤技術に関する詳細なレビューを提示する。
MLOpsワークフローは、モデルとデータ探索とデプロイメントの両方に必要なさまざまなツールとともに、詳細に説明されている。
この記事では、さまざまな成熟度の高い自動パイプラインを使用して、MLプロジェクトのエンドツーエンド生産にも光を当てます。
論文 参考訳(メタデータ) (2023-05-27T20:44:14Z) - Patterns of Multi-Container Composition for Service Orchestration with Docker Compose [5.1861106408299635]
この作業は、Docker Composeを複数のサービスコンテナを実行するオーケストレーションツールとして使用する、成功したプロジェクトのデータセットをキュレートする。
データと分析の収集により、反復するマルチコンテナ構成パターンの識別と命名が可能になる。
これらのパターンは、ソフトウェアシステムが現実世界でどのようにオーケストレーションされているかを強調し、独自のサービスオーケストレーションを構築したい人なら誰でも例を挙げることができる。
論文 参考訳(メタデータ) (2023-05-18T20:32:58Z) - VisionLLM: Large Language Model is also an Open-Ended Decoder for
Vision-Centric Tasks [81.32968995346775]
VisionLLMは視覚中心のタスクのためのフレームワークで、柔軟に定義され、言語命令を使って管理できる。
検出固有モデルと同等の精度で,COCO上で60%以上のmAPを達成できる。
論文 参考訳(メタデータ) (2023-05-18T17:59:42Z) - A Preliminary Investigation of MLOps Practices in GitHub [10.190501703364234]
機械学習アプリケーションはMLOpsへの関心が高まっている。
GitHubから取得したML対応システムのセットで実装されているMLOpsプラクティスについて、まず最初に調査する。
論文 参考訳(メタデータ) (2022-09-23T07:29:56Z) - MLModelCI: An Automatic Cloud Platform for Efficient MLaaS [15.029094196394862]
当社はこのプラットフォームを,Apache 2.0ライセンス下でGitHub上でオープンソースプロジェクトとしてリリースしています。
私たちのシステムは、現在のMLトレーニングとサービスシステムのギャップを埋めます。
論文 参考訳(メタデータ) (2020-06-09T07:48:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。