論文の概要: Exploring the potential of flow-based programming for machine learning
deployment in comparison with service-oriented architectures
- arxiv url: http://arxiv.org/abs/2108.04105v1
- Date: Mon, 9 Aug 2021 15:06:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-10 15:00:58.838177
- Title: Exploring the potential of flow-based programming for machine learning
deployment in comparison with service-oriented architectures
- Title（参考訳）: サービス指向アーキテクチャと比較して、機械学習デプロイメントのためのフローベースプログラミングの可能性を探る
- Authors: Andrei Paleyes, Christian Cabrera, Neil D. Lawrence
- Abstract要約: 理由のひとつは、データ収集と分析に関するアクティビティのために設計されていないインフラストラクチャである、と私たちは論じています。
本稿では,データストリームを用いたフローベースのプログラミングを,ソフトウェアアプリケーション構築に広く使用されるサービス指向アーキテクチャの代替として検討する。
- 参考スコア（独自算出の注目度）: 8.677012233188968
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite huge successes reported by the field of machine learning, such as
speech assistants or self-driving cars, businesses still observe very high
failure rate when it comes to deployment of ML in production. We argue that
part of the reason is infrastructure that was not designed for activities
around data collection and analysis. We propose to consider flow-based
programming with data streams as an alternative to commonly used
service-oriented architectures for building software applications. To compare
flow-based programming with the widespread service-oriented approach, we
develop a data processing application, and formulate two subsequent ML-related
tasks that constitute a complete cycle of ML deployment while allowing us to
assess characteristics of each programming paradigm in the ML context.
Employing both code metrics and empirical observations, we show that when it
comes to ML deployment each paradigm has certain advantages and drawbacks. Our
main conclusion is that while FBP shows great potential for providing
infrastructural benefits for deployment of machine learning, it requires a lot
of boilerplate code to define and manipulate the dataflow graph. We believe
that with better developer tools in place this problem can be alleviated,
establishing FBP as a strong alternative to currently prevalent SOA-driven
software design approach. Additionally, we provide an insight into the trend of
prioritising model development over data quality management.
- Abstract（参考訳）: 音声アシスタントや自動運転車など、機械学習の分野で大きな成功を収めたにも関わらず、ビジネスはmlを実運用に投入する上で非常に高い失敗率を維持している。
理由のひとつは、データ収集と分析に関するアクティビティのために設計されていないインフラストラクチャである、と私たちは主張する。
ソフトウェアアプリケーションを構築するための一般的なサービス指向アーキテクチャの代替として,データストリームを用いたフローベースのプログラミングを提案する。
フローベースのプログラミングと広範なサービス指向のアプローチを比較するため,我々はデータ処理アプリケーションを開発し,MLデプロイメントの完全なサイクルを構成する2つのその後のML関連タスクを定式化し,MLコンテキストにおける各プログラミングパラダイムの特性を評価する。
コードメトリクスと経験的観察の両方を用いることで、MLデプロイメントに関しては、各パラダイムに一定のメリットと欠点があることが示されます。
主な結論は、fbpは機械学習のデプロイにインフラ上の利点を提供する大きな可能性を示していますが、データフローグラフを定義して操作するには多くの定型コードが必要です。
私たちは、より良い開発ツールがあればこの問題を緩和できると考えており、現在普及しているSOA駆動のソフトウェア設計アプローチの強力な代替品としてFBPを確立しています。
さらに,データ品質管理よりもモデル開発を優先する傾向について考察する。
関連論文リスト
- Benchmarking Agentic Workflow Generation [80.74757493266057]
複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorFBenchを紹介する。
また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorFEvalを提案する。
我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することができることを観察する。
論文 参考訳（メタデータ） (2024-10-10T12:41:19Z) - Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows? [73.81908518992161]
我々は、プロのデータサイエンスとエンジニアリングに焦点を当てた最初のマルチモーダルエージェントベンチマークであるSpider2-Vを紹介する。
Spider2-Vは、本物のコンピュータ環境における現実世界のタスクを特徴とし、20のエンタープライズレベルのプロフェッショナルアプリケーションを組み込んでいる。
これらのタスクは、エンタープライズデータソフトウェアシステムにおいて、コードを書き、GUIを管理することで、マルチモーダルエージェントがデータ関連のタスクを実行する能力を評価する。
論文 参考訳（メタデータ） (2024-07-15T17:54:37Z) - Towards an MLOps Architecture for XAI in Industrial Applications [2.0457031151514977]
機械学習(ML)は、業務の改善、効率の向上、コスト削減を支援するため、産業分野で人気の高いツールとなっている。
残りのMLOps(Machine Learning Operations)の課題のひとつは、説明の必要性だ。
我々はMLOpsソフトウェアアーキテクチャを開発し、ML開発とデプロイメントプロセスに説明とフィードバック機能を統合するという課題に対処した。
論文 参考訳（メタデータ） (2023-09-22T09:56:25Z) - In Situ Framework for Coupling Simulation and Machine Learning with
Application to CFD [51.04126395480625]
近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。
シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。
この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
論文 参考訳（メタデータ） (2023-06-22T14:07:54Z) - MLOps: A Step Forward to Enterprise Machine Learning [0.0]
この研究は、MLOps、そのメリット、困難、進化、および重要な基盤技術に関する詳細なレビューを提示する。
MLOpsワークフローは、モデルとデータ探索とデプロイメントの両方に必要なさまざまなツールとともに、詳細に説明されている。
この記事では、さまざまな成熟度の高い自動パイプラインを使用して、MLプロジェクトのエンドツーエンド生産にも光を当てます。
論文 参考訳（メタデータ） (2023-05-27T20:44:14Z) - Benchmarking Automated Machine Learning Methods for Price Forecasting
Applications [58.720142291102135]
自動機械学習(AutoML)ソリューションで手作業で作成したMLパイプラインを置換する可能性を示す。
CRISP-DMプロセスに基づいて,手動MLパイプラインを機械学習と非機械学習に分割した。
本稿では、価格予測の産業利用事例として、ドメイン知識とAutoMLを組み合わせることで、ML専門家への依存が弱まることを示す。
論文 参考訳（メタデータ） (2023-04-28T10:27:38Z) - Reasonable Scale Machine Learning with Open-Source Metaflow [2.637746074346334]
既存のツールを再購入しても、現在の生産性の問題は解決しない、と私たちは主張します。
私たちは、データ実践者の生産性を高めるために明示的に設計された、MLプロジェクトのためのオープンソースのフレームワークであるMetaflowを紹介します。
論文 参考訳（メタデータ） (2023-03-21T11:28:09Z) - Dataflow graphs as complete causal graphs [17.15640410609126]
我々は、フローベースプログラミング(FBP)というソフトウェア設計の代替手法を考える。
ソフトウェアプロジェクトの日々のタスクを改善するために、この接続をどのように活用できるかを示します。
論文 参考訳（メタデータ） (2023-03-16T17:59:13Z) - An Empirical Evaluation of Flow Based Programming in the Machine
Learning Deployment Context [11.028123436097616]
データ指向アーキテクチャ(DOA)は,課題に対処する上で,データサイエンティストやソフトウェア開発者を支援する,新たなアプローチである。
本稿では,フローベースプログラミング(FBP)をDOAアプリケーション作成のパラダイムとして考える。
我々は、典型的なデータサイエンスプロジェクトを表す4つのアプリケーション上で、MLデプロイメントの文脈において、FBPを実証的に評価する。
論文 参考訳（メタデータ） (2022-04-27T09:08:48Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳（メタデータ） (2021-12-22T14:45:37Z) - Automated Machine Learning Techniques for Data Streams [91.3755431537592]
本稿では、最先端のオープンソースAutoMLツールを調査し、ストリームから収集したデータに適用し、時間とともにパフォーマンスがどのように変化するかを測定する。
この結果から,既製のAutoMLツールで十分な結果が得られることが示されたが,概念ドリフトや検出,適応といった手法が適用されれば,予測精度を時間とともに維持することが可能になる。
論文 参考訳（メタデータ） (2021-06-14T11:42:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。