論文の概要: Accelerated Cloud for Artificial Intelligence (ACAI)

• arxiv url: http://arxiv.org/abs/2401.16791v1
• Date: Tue, 30 Jan 2024 07:09:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 15:58:08.162658
• Title: Accelerated Cloud for Artificial Intelligence (ACAI)
• Title（参考訳）: 人工知能のための加速クラウド(acai)
• Authors: Dachi Chen, Weitian Ding, Chen Liang, Chang Xu, Junwei Zhang, Majd Sakr
• Abstract要約: 我々は、エンドツーエンドのクラウドベースの機械学習プラットフォームであるAccelerated Cloud for AI (ACAI)を提案する。 ACAIは、インデックス付き、ラベル付き、検索可能なデータのクラウドストレージと、自動リソースプロビジョニング、ジョブスケジューリング、実験追跡を可能にする。 自動プロビジョン装置は1.7倍のスピードアップと39%のコスト削減を実現し,典型的なMLのユースケースにおいて,ML科学者の実験時間を20%短縮することを示した。
• 参考スコア（独自算出の注目度）: 24.40451195277244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training an effective Machine learning (ML) model is an iterative process that requires effort in multiple dimensions. Vertically, a single pipeline typically includes an initial ETL (Extract, Transform, Load) of raw datasets, a model training stage, and an evaluation stage where the practitioners obtain statistics of the model performance. Horizontally, many such pipelines may be required to find the best model within a search space of model configurations. Many practitioners resort to maintaining logs manually and writing simple glue code to automate the workflow. However, carrying out this process on the cloud is not a trivial task in terms of resource provisioning, data management, and bookkeeping of job histories to make sure the results are reproducible. We propose an end-to-end cloud-based machine learning platform, Accelerated Cloud for AI (ACAI), to help improve the productivity of ML practitioners. ACAI achieves this goal by enabling cloud-based storage of indexed, labeled, and searchable data, as well as automatic resource provisioning, job scheduling, and experiment tracking. Specifically, ACAI provides practitioners (1) a data lake for storing versioned datasets and their corresponding metadata, and (2) an execution engine for executing ML jobs on the cloud with automatic resource provisioning (auto-provision), logging and provenance tracking. To evaluate ACAI, we test the efficacy of our auto-provisioner on the MNIST handwritten digit classification task, and we study the usability of our system using experiments and interviews. We show that our auto-provisioner produces a 1.7x speed-up and 39% cost reduction, and our system reduces experiment time for ML scientists by 20% on typical ML use cases.
• Abstract（参考訳）: 効果的な機械学習(ML)モデルをトレーニングすることは、複数の次元に労力を要する反復的なプロセスである。 垂直的には、単一のパイプラインは通常、生データセットの初期ETL(Extract, Transform, Load)、モデルトレーニングステージ、モデルパフォーマンスの統計を取得する評価ステージを含む。 水平的に、そのようなパイプラインの多くは、モデル構成の検索空間内で最高のモデルを見つけるために必要となる。 多くの実践者は、手動でログをメンテナンスし、ワークフローを自動化するための単純なグルーコードを書く。 しかし、このプロセスをクラウド上で実行することは、リソースのプロビジョニング、データ管理、ジョブ履歴の簿記といった点で、成果の再現性を確保するための簡単な作業ではない。 我々は、エンドツーエンドのクラウドベースの機械学習プラットフォームであるaccelerated cloud for ai(acai)を提案し、ml実践者の生産性を向上させる。 ACAIはこの目標を達成するために、インデックス付き、ラベル付き、検索可能なデータのクラウドベースのストレージと、自動リソースプロビジョニング、ジョブスケジューリング、実験追跡を可能にする。 具体的には、(1)バージョン付きデータセットとそのメタデータを格納するデータレイク、(2)自動リソースプロビジョニング(自動プロビジョニング)、ロギング、プロファイランストラッキングを備えたクラウド上でMLジョブを実行する実行エンジンを提供する。 ACAIを評価するために,MNIST手書き桁分類タスクにおいて自動作成装置の有効性を検証し,実験とインタビューを用いてシステムの有用性について検討した。 自動プロビジョン装置は1.7倍のスピードアップと39%のコスト削減を実現し,典型的なMLのユースケースにおいて,ML科学者の実験時間を20%短縮することを示した。

関連論文リスト

• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• Automated Machine Learning in Insurance [0.0]
  本稿では,ドメイン知識のないユーザや経験のないユーザが,数行のコードを書くだけで,堅牢で労力のかかるMLデプロイメントを実現するためのAutoMLワークフローを紹介する。 提案されたAutoMLは、データ前処理のバランシングステップ、アンサンブルパイプライン、カスタマイズされた損失関数などの機能を備えた、保険アプリケーションに特化している。
  論文  参考訳（メタデータ） (2024-08-26T14:55:40Z)
• Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows? [73.81908518992161]
  我々は、プロのデータサイエンスとエンジニアリングに焦点を当てた最初のマルチモーダルエージェントベンチマークであるSpider2-Vを紹介する。 Spider2-Vは、本物のコンピュータ環境における現実世界のタスクを特徴とし、20のエンタープライズレベルのプロフェッショナルアプリケーションを組み込んでいる。 これらのタスクは、エンタープライズデータソフトウェアシステムにおいて、コードを書き、GUIを管理することで、マルチモーダルエージェントがデータ関連のタスクを実行する能力を評価する。
  論文  参考訳（メタデータ） (2024-07-15T17:54:37Z)
• DiffPrep: Differentiable Data Preprocessing Pipeline Search for Learning over Tabular Data [12.416345241511781]
  与えられたデータセットに対するデータ前処理パイプラインを自動かつ効率的に検索するDiffPrepを提案する。 実験の結果,DiffPrepは実世界の18のデータセットのうち15の精度で最高のテスト精度を達成できた。
  論文  参考訳（メタデータ） (2023-08-20T23:40:26Z)
• Learning Representations on Logs for AIOps [6.47086647390439]
  大規模言語モデル(LLM)は、膨大な量のラベルのないデータに基づいて自己監督を用いて訓練される。 本稿では,パブリックおよびプロプライエタリなログデータに基づいてトレーニングされたログデータのためのLLMを提案する。 提案するLLMは,公開およびプロプライエタリなログデータに基づいてトレーニングされ,複数のダウンストリームタスクにおいて優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2023-08-18T20:34:46Z)
• OmniForce: On Human-Centered, Large Model Empowered and Cloud-Edge Collaborative AutoML System [85.8338446357469]
  我々は人間中心のAutoMLシステムであるOmniForceを紹介した。 我々は、OmniForceがAutoMLシステムを実践し、オープン環境シナリオにおける適応型AIを構築する方法について説明する。
  論文  参考訳（メタデータ） (2023-03-01T13:35:22Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Automated Machine Learning Techniques for Data Streams [91.3755431537592]
  本稿では、最先端のオープンソースAutoMLツールを調査し、ストリームから収集したデータに適用し、時間とともにパフォーマンスがどのように変化するかを測定する。 この結果から,既製のAutoMLツールで十分な結果が得られることが示されたが,概念ドリフトや検出,適応といった手法が適用されれば,予測精度を時間とともに維持することが可能になる。
  論文  参考訳（メタデータ） (2021-06-14T11:42:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。