論文の概要: PipeSim: Trace-driven Simulation of Large-Scale AI Operations Platforms
- arxiv url: http://arxiv.org/abs/2006.12587v1
- Date: Mon, 22 Jun 2020 19:55:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 06:07:00.364730
- Title: PipeSim: Trace-driven Simulation of Large-Scale AI Operations Platforms
- Title（参考訳）: PipeSim: 大規模AI運用プラットフォームのトレース駆動シミュレーション
- Authors: Thomas Rausch and Waldemar Hummer and Vinod Muthusamy
- Abstract要約: 大規模AIシステムのためのトレース駆動シミュレーションに基づく実験・分析環境を提案する。
IBMが開発したプロダクショングレードAIプラットフォームの分析データは、包括的なシミュレーションモデルを構築するために使用される。
独立して独立したイベントシミュレーターでモデルを実装し、実験を行うためのツールキットを提供する。
- 参考スコア（独自算出の注目度）: 4.060731229044571
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Operationalizing AI has become a major endeavor in both research and
industry. Automated, operationalized pipelines that manage the AI application
lifecycle will form a significant part of tomorrow's infrastructure workloads.
To optimize operations of production-grade AI workflow platforms we can
leverage existing scheduling approaches, yet it is challenging to fine-tune
operational strategies that achieve application-specific cost-benefit tradeoffs
while catering to the specific domain characteristics of machine learning (ML)
models, such as accuracy, robustness, or fairness. We present a trace-driven
simulation-based experimentation and analytics environment that allows
researchers and engineers to devise and evaluate such operational strategies
for large-scale AI workflow systems. Analytics data from a production-grade AI
platform developed at IBM are used to build a comprehensive simulation model.
Our simulation model describes the interaction between pipelines and system
infrastructure, and how pipeline tasks affect different ML model metrics. We
implement the model in a standalone, stochastic, discrete event simulator, and
provide a toolkit for running experiments. Synthetic traces are made available
for ad-hoc exploration as well as statistical analysis of experiments to test
and examine pipeline scheduling, cluster resource allocation, and similar
operational mechanisms.
- Abstract（参考訳）: AIの運用は、研究と産業の両方において大きな取り組みとなっている。
AIアプリケーションライフサイクルを管理する自動化された運用パイプラインは、明日のインフラストラクチャワークロードの重要な部分を形成する。
プロダクショングレードのaiワークフロープラットフォームの運用を最適化するには、既存のスケジューリングアプローチを活用できますが、正確性、堅牢性、公平性といった機械学習(ml)モデルの特定のドメイン特性に対応しながら、アプリケーション固有のコスト対効果のトレードオフを実現する運用戦略を微調整することは困難です。
本稿では,研究者や技術者が大規模aiワークフローシステムの運用戦略を考案・評価できる,トレース駆動シミュレーションに基づく実験・分析環境を提案する。
IBMが開発したプロダクショングレードAIプラットフォームの分析データは、包括的なシミュレーションモデルを構築するために使用される。
シミュレーションモデルは、パイプラインとシステムインフラストラクチャ間の相互作用と、パイプラインタスクが異なるMLモデルメトリクスにどのように影響するかを記述する。
スタンドアロンで確率的で離散的なイベントシミュレーターでモデルを実装し、実験を行うためのツールキットを提供する。
合成トレースはアドホックな探索や、パイプラインスケジューリング、クラスタリソース割り当て、および同様の操作機構をテストするための実験の統計分析に利用可能である。
関連論文リスト
- AgentSimulator: An Agent-based Approach for Data-driven Business Process Simulation [6.590869939300887]
ビジネスプロセスシミュレーション(Business Process Simulation, BPS)は、プロセスのパフォーマンスを様々なシナリオで推定するための汎用的な手法である。
本稿では,イベントログからマルチエージェントシステムを検出するリソースファーストなBPS手法であるAgentSimulatorを紹介する。
実験の結果,AgentSimulatorは従来の手法よりもはるかに少ない時間で計算精度を向上できることがわかった。
論文 参考訳（メタデータ） (2024-08-16T07:19:11Z) - Towards Next-Generation Urban Decision Support Systems through AI-Powered Construction of Scientific Ontology using Large Language Models -- A Case in Optimizing Intermodal Freight Transportation [1.6230958216521798]
本研究では,事前学習された大規模言語モデル(LLM)を活用する可能性について検討する。
推論コアとしてChatGPT APIを採用することで、自然言語処理、メソノロジーベースのプロンプトチューニング、トランスフォーマーを含む統合ワークフローを概説する。
我々の方法論の成果は、広く採用されているオントロジー言語(OWL、RDF、SPARQLなど)の知識グラフである。
論文 参考訳（メタデータ） (2024-05-29T16:40:31Z) - Variational Exploration Module VEM: A Cloud-Native Optimization and
Validation Tool for Geospatial Modeling and AI Workflows [0.0]
クラウドベースのデプロイメントは、これらのモデリングとAIのスケールアップに役立つ。
我々は,クラウドにデプロイされたモデリングの最適化と検証を容易にする変分探索モジュールを開発した。
モデルに依存しないモジュールの柔軟性と堅牢性は、実世界のアプリケーションを用いて実証される。
論文 参考訳（メタデータ） (2023-11-26T23:07:00Z) - Synthetic Data-Based Simulators for Recommender Systems: A Survey [55.60116686945561]
本調査は,モデリングとシミュレーションの分野における最近のトレンドを包括的に概観することを目的としている。
まずは、シミュレーターを実装するフレームワークの開発の背後にあるモチベーションから始めます。
我々は,既存のシミュレータの機能,近似,産業的有効性に基づいて,新しい一貫した一貫した分類を行う。
論文 参考訳（メタデータ） (2022-06-22T19:33:21Z) - Distributed intelligence on the Edge-to-Cloud Continuum: A systematic
literature review [62.997667081978825]
このレビューは、現在利用可能な機械学習とデータ分析のための最先端ライブラリとフレームワークに関する包括的なビジョンを提供することを目的としている。
現在利用可能なEdge-to-Cloud Continuumに関する実験的な研究のための、主要なシミュレーション、エミュレーション、デプロイメントシステム、テストベッドも調査されている。
論文 参考訳（メタデータ） (2022-04-29T08:06:05Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳（メタデータ） (2021-12-22T14:45:37Z) - Multitask Adaptation by Retrospective Exploration with Learned World
Models [77.34726150561087]
本稿では,タスク非依存ストレージから取得したMBRLエージェントのトレーニングサンプルを提供するRAMaというメタ学習型アドレッシングモデルを提案する。
このモデルは、期待されるエージェントのパフォーマンスを最大化するために、ストレージから事前のタスクを解く有望な軌道を選択することで訓練される。
論文 参考訳（メタデータ） (2021-10-25T20:02:57Z) - Automated Evolutionary Approach for the Design of Composite Machine
Learning Pipelines [48.7576911714538]
提案手法は、複合機械学習パイプラインの設計を自動化することを目的としている。
パイプラインをカスタマイズ可能なグラフベースの構造で設計し、得られた結果を分析して再生する。
このアプローチのソフトウェア実装は、オープンソースフレームワークとして紹介されている。
論文 参考訳（メタデータ） (2021-06-26T23:19:06Z) - A User's Guide to Calibrating Robotics Simulators [54.85241102329546]
本稿では,シミュレーションで学習したモデルやポリシーを現実世界に伝達することを目的とした,様々なアルゴリズムの研究のためのベンチマークとフレームワークを提案する。
我々は、様々なアルゴリズムの性能に関する洞察を特徴付け、提供するために、広く知られたシミュレーション環境の実験を行う。
我々の分析は、この分野の実践者にとって有用であり、sim-to-realアルゴリズムの動作と主特性について、より深い選択をすることができる。
論文 参考訳（メタデータ） (2020-11-17T22:24:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。