論文の概要: Instrumentation and Analysis of Native ML Pipelines via Logical Query Plans

• arxiv url: http://arxiv.org/abs/2407.07560v1
• Date: Wed, 10 Jul 2024 11:35:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 16:51:55.721625
• Title: Instrumentation and Analysis of Native ML Pipelines via Logical Query Plans
• Title（参考訳）: 論理的クエリ計画によるネイティブMLパイプラインの計測と解析
• Authors: Stefan Grafberger,
• Abstract要約: 私たちは、データサイエンティストが機械学習パイプラインを開発し、検証し、監視し、分析するのを支援するために、高度に自動化されたソフトウェアプラットフォームを構想しています。 一般的なライブラリに依存したMLパイプラインコードから"論理クエリプラン"を抽出する。 これらの計画に基づいて、パイプラインのセマンティクスとインスツルメンタを自動で推論し、MLパイプラインを書き換えて、データサイエンティストが手動でアノテートしたり、コードを書き換えたりすることなく、さまざまなユースケースを可能にします。
• 参考スコア（独自算出の注目度）: 3.2362171533623054
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine Learning (ML) is increasingly used to automate impactful decisions, which leads to concerns regarding their correctness, reliability, and fairness. We envision highly-automated software platforms to assist data scientists with developing, validating, monitoring, and analysing their ML pipelines. In contrast to existing work, our key idea is to extract "logical query plans" from ML pipeline code relying on popular libraries. Based on these plans, we automatically infer pipeline semantics and instrument and rewrite the ML pipelines to enable diverse use cases without requiring data scientists to manually annotate or rewrite their code. First, we developed such an abstract ML pipeline representation together with machinery to extract it from Python code. Next, we used this representation to efficiently instrument static ML pipelines and apply provenance tracking, which enables lightweight screening for common data preparation issues. Finally, we built machinery to automatically rewrite ML pipelines to perform more advanced what-if analyses and proposed using multi-query optimisation for the resulting workloads. In future work, we aim to interactively assist data scientists as they work on their ML pipelines.
• Abstract（参考訳）: 機械学習(ML)は、影響のある決定を自動化するためにますます使われており、その正確性、信頼性、公平性に関する懸念につながります。 私たちは、データサイエンティストがMLパイプラインを開発し、検証し、監視し、分析するのを支援するために、高度に自動化されたソフトウェアプラットフォームを構想しています。 既存の作業とは対照的に、私たちのキーとなるアイデアは、一般的なライブラリに依存するMLパイプラインコードから"論理的なクエリプラン"を抽出することです。 これらの計画に基づいて、パイプラインのセマンティクスとインスツルメンタを自動で推論し、MLパイプラインを書き換えて、データサイエンティストが手動でアノテートしたり、コードを書き換えたりすることなく、さまざまなユースケースを可能にします。 まず、このような抽象的なMLパイプライン表現を機械と共に開発し、Pythonコードから抽出した。 次に、この表現を用いて、静的MLパイプラインを効率よく計測し、プロファイランストラッキングを適用し、共通データ準備問題に対する軽量なスクリーニングを可能にした。 最後に、より高度なWhat-if分析を行うためにMLパイプラインを自動的に書き換える機械を構築し、結果のワークロードに対してマルチクエリ最適化を用いて提案した。 今後の作業では、MLパイプラインで作業するデータサイエンティストをインタラクティブに支援することを目的としています。

関連論文リスト

• Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows? [73.81908518992161]
  我々は、プロのデータサイエンスとエンジニアリングに焦点を当てた最初のマルチモーダルエージェントベンチマークであるSpider2-Vを紹介する。 Spider2-Vは、本物のコンピュータ環境における現実世界のタスクを特徴とし、20のエンタープライズレベルのプロフェッショナルアプリケーションを組み込んでいる。 これらのタスクは、エンタープライズデータソフトウェアシステムにおいて、コードを書き、GUIを管理することで、マルチモーダルエージェントがデータ関連のタスクを実行する能力を評価する。
  論文  参考訳（メタデータ） (2024-07-15T17:54:37Z)
• Closing the loop: Autonomous experiments enabled by machine-learning-based online data analysis in synchrotron beamline environments [80.49514665620008]
  機械学習は、大規模または高速に生成されたデータセットを含む研究を強化するために使用できる。 本研究では,X線反射法(XRR)のための閉ループワークフローへのMLの導入について述べる。 本研究では,ビームライン制御ソフトウェア環境に付加的なソフトウェア依存関係を導入することなく,実験中の基本データ解析をリアルタイムで行うソリューションを提案する。
  論文  参考訳（メタデータ） (2023-06-20T21:21:19Z)
• Deep Pipeline Embeddings for AutoML [11.168121941015015]
  AutoMLは、最小限の人間の専門知識で機械学習システムを自動デプロイすることで、AIを民主化するための有望な方向である。 既存のパイプライン最適化テクニックでは、パイプラインステージ/コンポーネント間の深いインタラクションを探索できない。 本稿では,機械学習パイプラインのコンポーネント間のディープインタラクションをキャプチャするニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-05-23T12:40:38Z)
• Benchmarking Automated Machine Learning Methods for Price Forecasting Applications [58.720142291102135]
  自動機械学習(AutoML)ソリューションで手作業で作成したMLパイプラインを置換する可能性を示す。 CRISP-DMプロセスに基づいて,手動MLパイプラインを機械学習と非機械学習に分割した。 本稿では、価格予測の産業利用事例として、ドメイン知識とAutoMLを組み合わせることで、ML専門家への依存が弱まることを示す。
  論文  参考訳（メタデータ） (2023-04-28T10:27:38Z)
• Demonstration of InsightPilot: An LLM-Empowered Automated Data Exploration System [48.62158108517576]
  本稿では,データ探索プロセスの簡略化を目的とした自動データ探索システムであるInsightPilotを紹介する。 InsightPilotは、理解、要約、説明などの適切な分析意図を自動的に選択する。 簡単に言うと、IQueryはデータ分析操作の抽象化と自動化であり、データアナリストのアプローチを模倣しています。
  論文  参考訳（メタデータ） (2023-04-02T07:27:49Z)
• XAutoML: A Visual Analytics Tool for Understanding and Validating Automated Machine Learning [5.633209323925663]
  XAutoMLは、AutoMLによって構築された任意のAutoML最適化手順とMLパイプラインを説明するための、インタラクティブなビジュアル分析ツールである。 XAutoMLは、インタラクティブな視覚化と、説明可能な人工知能(XAI)の確立したテクニックを組み合わせることで、完全なAutoML手順を透過的かつ説明可能なものにする。
  論文  参考訳（メタデータ） (2022-02-24T08:18:25Z)
• SapientML: Synthesizing Machine Learning Pipelines by Learning from Human-Written Solutions [28.718446733713183]
  既存のデータセットとその人手によるパイプラインのコーパスから学習できるAutoML SapientMLを提案する。 我々は、170のデータセットにまたがる1094のパイプラインのトレーニングコーパスを作成し、41のベンチマークデータセットでSapientMLを評価した。 我々の評価によると、SapientMLは27のベンチマークでベストまたは同等の精度で、第2のツールでは9のインスタンスでパイプラインを生成できない。
  論文  参考訳（メタデータ） (2022-02-18T20:45:47Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Plumber: Diagnosing and Removing Performance Bottlenecks in Machine Learning Data Pipelines [7.022239953701528]
  機械学習(ML)入力パイプラインのボトルネックを見つけるツールであるPlumberを提案する。 5つの代表的MLパイプラインにまたがって、Plumberはパイプラインの最大46倍のスピードアップを取得する。 キャッシュを自動化することで、Plumberは最先端のチューナーと比較して、エンドツーエンドのスピードアップを40%以上獲得する。
  論文  参考訳（メタデータ） (2021-11-07T17:15:57Z)
• AutoWeka4MCPS-AVATAR: Accelerating Automated Machine Learning Pipeline Composition and Optimisation [13.116806430326513]
  本稿では,サロゲートモデル(AVATAR)を用いて,実行せずにMLパイプラインの有効性を評価する手法を提案する。 AVATARは、データセットの特徴に対するMLアルゴリズムの機能と効果を自動的に学習することで、知識ベースを生成する。 AVATARはその妥当性を評価するためにオリジナルのMLパイプラインを実行する代わりに、MLパイプラインコンポーネントの機能と効果によって構築されたサロゲートモデルを評価する。
  論文  参考訳（メタデータ） (2020-11-21T14:05:49Z)
• A DICOM Framework for Machine Learning Pipelines against Real-Time Radiology Images [50.222197963803644]
  Nifflerは、研究クラスタでの機械学習パイプラインの実行を可能にする統合フレームワークである。 ニフラーはDigital Imaging and Communications in Medicine (DICOM)プロトコルを使用して画像データの取得と保存を行っている。 我々は,そのアーキテクチャと3つのユースケースを提示する: リアルタイムに画像から下大静脈フィルターを検出すること,スキャナ利用の同定,およびスキャナクロックの校正。
  論文  参考訳（メタデータ） (2020-04-16T21:06:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。