論文の概要: Scalable End-to-End ML Platforms: from AutoML to Self-serve
- arxiv url: http://arxiv.org/abs/2302.14139v1
- Date: Mon, 27 Feb 2023 20:54:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-01 19:02:01.968744
- Title: Scalable End-to-End ML Platforms: from AutoML to Self-serve
- Title(参考訳): スケーラブルなエンドツーエンドMLプラットフォーム: AutoMLからセルフサービスへ
- Authors: Igor L. Markov, Pavlos A. Apostolopoulos, Mia Garrard, Tianyu (Tanya)
Qie, Yin Huang, Tanvi Gupta, Anika Li, Cesar Cardoso, George Han, Ryan
Maghsoudian, Norm Zhou
- Abstract要約: MLプラットフォームは、インテリジェントなデータ駆動アプリケーションを実現し、限られたエンジニアリング努力でメンテナンスするのに役立つ。
このようなプラットフォームは、システム開発とメンテナンスの効率を改善しながら、より大きなコンポーネント再利用をもたらすスケールの経済に到達します。
広く採用されているエンドツーエンドのMLプラットフォームでは、スケーリングは、広く普及するML自動化と、セルフサービスと呼ばれる品質に到達するためのシステム統合に依存しています。
- 参考スコア(独自算出の注目度): 1.6083110136760985
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: ML platforms help enable intelligent data-driven applications and maintain
them with limited engineering effort. Upon sufficiently broad adoption, such
platforms reach economies of scale that bring greater component reuse while
improving efficiency of system development and maintenance. For an end-to-end
ML platform with broad adoption, scaling relies on pervasive ML automation and
system integration to reach the quality we term self-serve that we define with
ten requirements and six optional capabilities. With this in mind, we identify
long-term goals for platform development, discuss related tradeoffs and future
work. Our reasoning is illustrated on two commercially-deployed end-to-end ML
platforms that host hundreds of real-time use cases -- one general-purpose and
one specialized.
- Abstract(参考訳): MLプラットフォームは、インテリジェントなデータ駆動アプリケーションを実現し、限られたエンジニアリング努力でメンテナンスするのに役立つ。
十分に広く採用されると、そのようなプラットフォームは、システム開発とメンテナンスの効率を改善しながら、より大きなコンポーネント再利用をもたらす規模の経済に達する。
広く採用されているエンドツーエンドのMLプラットフォームでは、拡張性のあるML自動化とシステム統合に依存して、私たちが定義する10の要件と6つのオプション機能を備えたセルフサービス(self-serve)という品質に達しています。
このことを念頭に置いて,プラットフォーム開発の長期的な目標を特定し,関連するトレードオフと今後の作業について議論する。
私たちの推論は、2つの商用にデプロイされたエンドツーエンドのMLプラットフォームで説明されています。
関連論文リスト
- Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。
当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。
Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
論文 参考訳(メタデータ) (2024-10-24T19:48:51Z) - Mini-InternVL: A Flexible-Transfer Pocket Multimodal Model with 5% Parameters and 90% Performance [78.48606021719206]
Mini-InternVL は 1B から 4B までのパラメータを持つ一連の MLLM であり、パラメータの 5% しか持たない性能の90% を達成している。
我々は,ダウンストリームタスクにおける特化モデルの転送と性能向上を可能にする,Mini-InternVLの統一適応フレームワークを開発した。
論文 参考訳(メタデータ) (2024-10-21T17:58:20Z) - Position: A Call to Action for a Human-Centered AutoML Paradigm [83.78883610871867]
自動機械学習(AutoML)は、機械学習(ML)を自動かつ効率的に構成する基本的目的を中心に形成された。
AutoMLの完全な可能性を解き放つ鍵は、現在探索されていないAutoMLシステムとのユーザインタラクションの側面に対処することにある、と私たちは主張する。
論文 参考訳(メタデータ) (2024-06-05T15:05:24Z) - Demystifying Platform Requirements for Diverse LLM Inference Use Cases [7.233203254714951]
本稿では,大規模言語モデル推論性能とプラットフォーム設計パラメータの関係を明らかにするための分析ツールGenZを提案する。
LLaMA や GPT-4 のような SOTA LLM モデルをサポートするためのプラットフォーム要件を,多様なサービス設定下で定量化する。
結局のところ、この研究は、幅広いアプリケーションにまたがる大きな言語モデルの潜在能力を最大限に活用するためのプラットフォーム設計の考察に光を当てている。
論文 参考訳(メタデータ) (2024-06-03T18:00:50Z) - Emerging Platforms Meet Emerging LLMs: A Year-Long Journey of Top-Down Development [20.873143073842705]
TapMLは、さまざまなプラットフォームへの機械学習システムのデプロイを合理化するために設計された、トップダウンのアプローチとツーリングである。
従来のボトムアップメソッドとは異なり、TapMLはユニットテストを自動化し、徐々にモデルの計算をオフロードするためのマイグレーションベースの戦略を採用する。
TapMLは1年間にわたる現実世界の取り組みを通じて開発され、重要な新興モデルやプラットフォームをデプロイすることに成功しました。
論文 参考訳(メタデータ) (2024-04-14T06:09:35Z) - A Cyber Manufacturing IoT System for Adaptive Machine Learning Model Deployment by Interactive Causality Enabled Self-Labeling [0.0]
本稿では、エンドツーエンドのデータストリーミングパイプライン、MLサービス統合、自動自己ラベルサービスで構成されるAdaptIoTシステムを提案する。
このセルフラベルサービスは、因果的知識ベースと自動化されたフルサイクルのセルフラベルで構成され、複数のMLモデルを同時に適応させる。
自己ラベル適応型MLアプリケーションの実演はメーカースペースを用いて行われ、信頼性の高い性能を示す。
論文 参考訳(メタデータ) (2024-04-09T03:10:45Z) - EgoPlan-Bench: Benchmarking Multimodal Large Language Models for Human-Level Planning [84.6451394629312]
実世界のシナリオにおけるMLLMの計画能力を評価するベンチマークであるEgoPlan-Benchを紹介する。
EgoPlan-Benchは、人間レベルのタスクプランニングを実現するためのMLLMの改善のかなりの範囲を浮き彫りにする。
また,EgoPlan-Bench上でのモデル性能を効果的に向上する特殊命令チューニングデータセットであるEgoPlan-ITを提案する。
論文 参考訳(メタデータ) (2023-12-11T03:35:58Z) - Benchmarking Automated Machine Learning Methods for Price Forecasting
Applications [58.720142291102135]
自動機械学習(AutoML)ソリューションで手作業で作成したMLパイプラインを置換する可能性を示す。
CRISP-DMプロセスに基づいて,手動MLパイプラインを機械学習と非機械学習に分割した。
本稿では、価格予測の産業利用事例として、ドメイン知識とAutoMLを組み合わせることで、ML専門家への依存が弱まることを示す。
論文 参考訳(メタデータ) (2023-04-28T10:27:38Z) - OmniForce: On Human-Centered, Large Model Empowered and Cloud-Edge
Collaborative AutoML System [85.8338446357469]
我々は人間中心のAutoMLシステムであるOmniForceを紹介した。
我々は、OmniForceがAutoMLシステムを実践し、オープン環境シナリオにおける適応型AIを構築する方法について説明する。
論文 参考訳(メタデータ) (2023-03-01T13:35:22Z) - MDE for Machine Learning-Enabled Software Systems: A Case Study and
Comparison of MontiAnna & ML-Quadrat [5.839906946900443]
我々は,モノのインターネット(IoT)分野に着目した機械学習対応ソフトウェアシステムの開発に,MDEパラダイムを採用することを提案する。
ケーススタディで実証されたように、最先端のオープンソースモデリングツールであるMontiAnnaとML-Quadratが、この目的のためにどのように使用できるかを説明します。
論文 参考訳(メタデータ) (2022-09-15T13:21:16Z) - Looper: An end-to-end ML platform for product decisions [9.062868006821484]
意思決定とフィードバック収集に使いやすいAPIを提供する、特定のエンドツーエンドのMLプラットフォームであるLooperについて説明する。
Looperは、オンラインデータ収集からモデルトレーニング、デプロイメント、推論、製品目標に対する評価とチューニングのサポートまで、エンドツーエンドのMLライフサイクルを完全にサポートする。
論文 参考訳(メタデータ) (2021-10-14T17:26:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。