論文の概要: Reasonable Scale Machine Learning with Open-Source Metaflow
- arxiv url: http://arxiv.org/abs/2303.11761v1
- Date: Tue, 21 Mar 2023 11:28:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-22 15:14:30.680502
- Title: Reasonable Scale Machine Learning with Open-Source Metaflow
- Title(参考訳): オープンソースのメタフローによる合理的なスケール機械学習
- Authors: Jacopo Tagliabue, Hugo Bowne-Anderson, Ville Tuulos, Savin Goyal,
Romain Cledat, David Berg
- Abstract要約: 既存のツールを再購入しても、現在の生産性の問題は解決しない、と私たちは主張します。
私たちは、データ実践者の生産性を高めるために明示的に設計された、MLプロジェクトのためのオープンソースのフレームワークであるMetaflowを紹介します。
- 参考スコア(独自算出の注目度): 2.637746074346334
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As Machine Learning (ML) gains adoption across industries and new use cases,
practitioners increasingly realize the challenges around effectively developing
and iterating on ML systems: reproducibility, debugging, scalability, and
documentation are elusive goals for real-world pipelines outside tech-first
companies. In this paper, we review the nature of ML-oriented workloads and
argue that re-purposing existing tools won't solve the current productivity
issues, as ML peculiarities warrant specialized development tooling. We then
introduce Metaflow, an open-source framework for ML projects explicitly
designed to boost the productivity of data practitioners by abstracting away
the execution of ML code from the definition of the business logic. We show how
our design addresses the main challenges in ML operations (MLOps), and document
through examples, interviews and use cases its practical impact on the field.
- Abstract(参考訳): 機械学習(ML)が産業や新しいユースケースにまたがって採用されるにつれて、実践者は、再現性、デバッグ、スケーラビリティ、ドキュメントといったMLシステムを効果的に開発し、反復する上での課題を、テクノロジファースト企業以外の現実世界のパイプラインにとって明らかにする目標として認識するようになった。
本稿では、ML指向のワークロードの性質をレビューし、既存のツールを再購入しても、ML特有の開発ツールが保証されるため、現在の生産性の問題は解決しない、と論じる。
次に、MLプロジェクトのオープンソースフレームワークであるMetaflowを紹介します。これは、ビジネスロジックの定義からMLコードの実行を抽象化することで、データ実践者の生産性を高めるように設計されています。
mlops(ml operations)における主要な課題に対する設計の対処方法を示し、実例やインタビュー、ユースケースを通じてその実践的影響を文書化します。
関連論文リスト
- Large Language Models for Constructing and Optimizing Machine Learning Workflows: A Survey [3.340984908213717]
複雑なタスクに対処するための効果的な機械学習(ML)を構築することは、Automatic ML(AutoML)コミュニティの主要な焦点である。
最近、MLへのLLM(Large Language Models)の統合は、MLパイプラインのさまざまなステージを自動化し、拡張する大きな可能性を示している。
論文 参考訳(メタデータ) (2024-11-11T21:54:26Z) - Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。
次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。
包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
論文 参考訳(メタデータ) (2024-05-26T11:40:58Z) - From Summary to Action: Enhancing Large Language Models for Complex
Tasks with Open World APIs [62.496139001509114]
大規模な現実世界のAPIを制御するために設計された新しいツール呼び出しパイプラインを導入します。
このパイプラインは人間のタスク解決プロセスを反映し、複雑な実際のユーザクエリに対処する。
ToolBenchベンチマークにおけるSum2Actパイプラインの実証的な評価は、大幅なパフォーマンス向上を示している。
論文 参考訳(メタデータ) (2024-02-28T08:42:23Z) - Towards an MLOps Architecture for XAI in Industrial Applications [2.0457031151514977]
機械学習(ML)は、業務の改善、効率の向上、コスト削減を支援するため、産業分野で人気の高いツールとなっている。
残りのMLOps(Machine Learning Operations)の課題のひとつは、説明の必要性だ。
我々はMLOpsソフトウェアアーキテクチャを開発し、ML開発とデプロイメントプロセスに説明とフィードバック機能を統合するという課題に対処した。
論文 参考訳(メタデータ) (2023-09-22T09:56:25Z) - CREATOR: Tool Creation for Disentangling Abstract and Concrete Reasoning of Large Language Models [74.22729793816451]
大規模言語モデル(LLM)はツールの利用において大きな進歩を遂げているが、その能力はAPIの可用性によって制限されている。
我々は、LCMがドキュメンテーションとコード実現を使って独自のツールを作成できる新しいフレームワークCREATORを提案する。
我々は,MATH と TabMWP のベンチマークで CREATOR を評価する。
論文 参考訳(メタデータ) (2023-05-23T17:51:52Z) - MLCopilot: Unleashing the Power of Large Language Models in Solving
Machine Learning Tasks [31.733088105662876]
我々は、新しいフレームワークを導入することで、機械学習と人間の知識のギャップを埋めることを目指している。
本稿では、構造化された入力を理解するためのLLMの能力を拡張し、新しいMLタスクを解くための徹底的な推論を行う可能性を示す。
論文 参考訳(メタデータ) (2023-04-28T17:03:57Z) - Benchmarking Automated Machine Learning Methods for Price Forecasting
Applications [58.720142291102135]
自動機械学習(AutoML)ソリューションで手作業で作成したMLパイプラインを置換する可能性を示す。
CRISP-DMプロセスに基づいて,手動MLパイプラインを機械学習と非機械学習に分割した。
本稿では、価格予測の産業利用事例として、ドメイン知識とAutoMLを組み合わせることで、ML専門家への依存が弱まることを示す。
論文 参考訳(メタデータ) (2023-04-28T10:27:38Z) - Machine Learning Operations (MLOps): Overview, Definition, and
Architecture [0.0]
機械学習オペレーション(MLOps)のパラダイムは、この問題に対処する。
MLOpsはいまだ曖昧な用語であり、研究者や専門家にとっての結果は曖昧である。
必要なコンポーネントや役割、関連するアーキテクチャや原則をまとめて紹介します。
論文 参考訳(メタデータ) (2022-05-04T19:38:48Z) - Exploring the potential of flow-based programming for machine learning
deployment in comparison with service-oriented architectures [8.677012233188968]
理由のひとつは、データ収集と分析に関するアクティビティのために設計されていないインフラストラクチャである、と私たちは論じています。
本稿では,データストリームを用いたフローベースのプログラミングを,ソフトウェアアプリケーション構築に広く使用されるサービス指向アーキテクチャの代替として検討する。
論文 参考訳(メタデータ) (2021-08-09T15:06:02Z) - Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。
私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。
当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
論文 参考訳(メタデータ) (2021-01-11T15:54:48Z) - Technology Readiness Levels for AI & ML [79.22051549519989]
機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。
エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。
我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
論文 参考訳(メタデータ) (2020-06-21T17:14:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。