論文の概要: MLExchange -- A web-based platform enabling exchangeable machine
learning workflows
- arxiv url: http://arxiv.org/abs/2208.09751v1
- Date: Sat, 20 Aug 2022 21:36:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-23 12:28:51.483858
- Title: MLExchange -- A web-based platform enabling exchangeable machine
learning workflows
- Title(参考訳): MLExchange -- 交換可能な機械学習ワークフローを実現するWebベースのプラットフォーム
- Authors: Zhuowen Zhao, Tanny Chavez, Elizabeth Holman, Guanhua Hao, Adam Green,
Harinarayan Krishnan, Dylan McReynolds, Ronald Pandolfi, Eric J. Roberts,
Petrus H. Zwart, Howard Yanxon, Nicholas Schwarz, Subramanian
Sankaranarayanan, Sergei V. Kalinin, Apurva Mehta, Stuart Campbel, Alexander
Hexemer
- Abstract要約: MLExchangeプロジェクトは、MLと計算リソースを科学的な発見に使用する、深遠なMLバックグラウンドを持たない科学者や施設のユーザのためのツールを備えた共同プラットフォームを構築することを目的としている。
プラットフォーム全体あるいは個々のサービスは、ラップトップ(通常は単一ユーザ)から、多くのユーザによって(同時に)アクセスされた高性能クラスタまで、さまざまなスケールのサーバに簡単にデプロイできます。
- 参考スコア(独自算出の注目度): 41.066688323596374
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning (ML) algorithms are showing a growing trend in helping the
scientific communities across different disciplines and institutions to address
large and diverse data problems. However, many available ML tools are
programmatically demanding and computationally costly. The MLExchange project
aims to build a collaborative platform equipped with enabling tools that allow
scientists and facility users who do not have a profound ML background to use
ML and computational resources in scientific discovery. At the high level, we
are targeting a full user experience where managing and exchanging ML
algorithms, workflows, and data are readily available through web applications.
So far, we have built four major components, i.e, the central job manager, the
centralized content registry, user portal, and search engine, and successfully
deployed these components on a testing server.
Since each component is an independent container, the whole platform or its
individual service(s) can be easily deployed at servers of different scales,
ranging from a laptop (usually a single user) to high performance clusters
(HPC) accessed (simultaneously) by many users. Thus, MLExchange renders
flexible using scenarios -- users could either access the services and
resources from a remote server or run the whole platform or its individual
service(s) within their local network.
- Abstract(参考訳): 機械学習(ML)アルゴリズムは、さまざまな分野や機関にわたる科学コミュニティが大規模で多様なデータ問題に対処するのを助ける傾向を示している。
しかし、多くの利用可能なMLツールはプログラム的に要求され、計算コストがかかる。
MLExchangeプロジェクトは、MLと計算リソースを科学的な発見に利用するために、深遠なMLバックグラウンドを持たない科学者や施設のユーザに提供するツールを備えた共同プラットフォームを構築することを目的としている。
高いレベルでは、MLアルゴリズムやワークフロー、データの管理と交換をWebアプリケーションで簡単に行えるような、完全なユーザエクスペリエンスをターゲットにしています。
これまでのところ、中央のジョブマネージャ、集中型コンテンツレジストリ、ユーザポータル、検索エンジンという4つの主要なコンポーネントを構築し、これらのコンポーネントをテストサーバにうまくデプロイしました。
各コンポーネントは独立したコンテナであるため、ラップトップ(通常は単一ユーザ)から、多くのユーザによって(同時に)アクセスされたハイパフォーマンスクラスタ(HPC)まで、プラットフォーム全体または個々のサービス(s)は、さまざまなスケールのサーバに簡単にデプロイできる。
ユーザはリモートサーバからサービスやリソースにアクセスしたり、プラットフォーム全体や個々のサービスをローカルネットワーク内で実行したりすることができる。
関連論文リスト
- Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows? [73.81908518992161]
我々は、プロのデータサイエンスとエンジニアリングに焦点を当てた最初のマルチモーダルエージェントベンチマークであるSpider2-Vを紹介する。
Spider2-Vは、本物のコンピュータ環境における現実世界のタスクを特徴とし、20のエンタープライズレベルのプロフェッショナルアプリケーションを組み込んでいる。
これらのタスクは、エンタープライズデータソフトウェアシステムにおいて、コードを書き、GUIを管理することで、マルチモーダルエージェントがデータ関連のタスクを実行する能力を評価する。
論文 参考訳(メタデータ) (2024-07-15T17:54:37Z) - VisualWebBench: How Far Have Multimodal LLMs Evolved in Web Page Understanding and Grounding? [115.60866817774641]
MLLM(Multimodal Large Language Model)は、Web関連のタスクにおいて有望であることを示す。
Webドメインにおけるパフォーマンス評価は、包括的なベンチマークが欠如しているため、依然として課題である。
benchは、さまざまなWebタスクにわたるMLLMの機能を評価するために設計されたマルチモーダルベンチマークである。
論文 参考訳(メタデータ) (2024-04-09T02:29:39Z) - CRAFT: Customizing LLMs by Creating and Retrieving from Specialized
Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。
タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。
本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文 参考訳(メタデータ) (2023-09-29T17:40:26Z) - MLOps: A Step Forward to Enterprise Machine Learning [0.0]
この研究は、MLOps、そのメリット、困難、進化、および重要な基盤技術に関する詳細なレビューを提示する。
MLOpsワークフローは、モデルとデータ探索とデプロイメントの両方に必要なさまざまなツールとともに、詳細に説明されている。
この記事では、さまざまな成熟度の高い自動パイプラインを使用して、MLプロジェクトのエンドツーエンド生産にも光を当てます。
論文 参考訳(メタデータ) (2023-05-27T20:44:14Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-11-20T10:49:22Z) - Federated Learning and Meta Learning: Approaches, Applications, and
Directions [94.68423258028285]
本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。
他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
論文 参考訳(メタデータ) (2022-10-24T10:59:29Z) - BPMN4sML: A BPMN Extension for Serverless Machine Learning. Technology
Independent and Interoperable Modeling of Machine Learning Workflows and
their Serverless Deployment Orchestration [0.0]
機械学習(ML)は学術、産業、社会のあらゆる層に浸透し続けている。
ビジネスプロセスモデルと表記法(BPMN)は広く受け入れられ、適用されています。
BPMNは機械学習を表現するための特別なサポートではない。
BPMN4sML(サーバレス機械学習のためのBPMN)を紹介します。
論文 参考訳(メタデータ) (2022-08-02T10:36:00Z) - Walle: An End-to-End, General-Purpose, and Large-Scale Production System
for Device-Cloud Collaborative Machine Learning [40.09527159285327]
We build the first end-to-end and general-purpose system, called Walle, for device-cloud collaborative machine learning (ML)
Walleはデプロイメントプラットフォームで構成され、MLタスクを10億規模のデバイスに分散する。データパイプラインはタスク入力を効率的に準備し、計算コンテナはクロスプラットフォームで高性能な実行環境を提供する。
我々はWalleを実践的なeコマースアプリケーションシナリオで評価し、その有効性、効率、スケーラビリティを実証する。
論文 参考訳(メタデータ) (2022-05-30T03:43:35Z) - Widening Access to Applied Machine Learning with TinyML [1.1678513163359947]
我々は,Tiny Machine Learning (TinyML)上で,大規模なオープンオンラインコース (MOOC) を通じて応用機械学習 (ML) へのアクセスを増やすための教育的アプローチについて述べる。
この目的のために、学界(ハーバード大学)と産業(Google)の協力により、TinyMLを使ってソリューションを開発するためのアプリケーション指向の指導を提供する4つのMOOCが作成された。
このシリーズは、edX MOOCプラットフォームで公開されており、基本的なプログラミング以上の前提条件がなく、世界中のさまざまなバックグラウンドから学習者向けに設計されている。
論文 参考訳(メタデータ) (2021-06-07T23:31:47Z) - MLModelCI: An Automatic Cloud Platform for Efficient MLaaS [15.029094196394862]
当社はこのプラットフォームを,Apache 2.0ライセンス下でGitHub上でオープンソースプロジェクトとしてリリースしています。
私たちのシステムは、現在のMLトレーニングとサービスシステムのギャップを埋めます。
論文 参考訳(メタデータ) (2020-06-09T07:48:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。