論文の概要: CubicML: Automated ML for Distributed ML Systems Co-design with ML Prediction of Performance
- arxiv url: http://arxiv.org/abs/2409.04585v1
- Date: Fri, 6 Sep 2024 19:55:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-10 21:42:30.221969
- Title: CubicML: Automated ML for Distributed ML Systems Co-design with ML Prediction of Performance
- Title(参考訳): CubicML: 分散MLシステムのための自動MLとMLによるパフォーマンス予測
- Authors: Wei Wen, Quanyu Zhu, Weiwei Chu, Wen-Yen Chen, Jiyan Yang,
- Abstract要約: ディープラーニングモデルのスケールアップは、機械学習モデル(ML)のインテリジェンスを改善するために有効であることが証明されている。
分散MLシステムとアルゴリズム(トレーニングパフォーマンスを最大化する)の共同設計は、その成功に重要な役割を果たす。
分散MLシステムのトレーニング性能を自動最適化するために,MLを用いたCuicMLを提案する。
- 参考スコア(独自算出の注目度): 7.425372356516303
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scaling up deep learning models has been proven effective to improve intelligence of machine learning (ML) models, especially for industry recommendation models and large language models. The co-design of distributed ML systems and algorithms (to maximize training performance) plays a pivotal role for its success. As it scales, the number of co-design hyper-parameters grows rapidly which brings challenges to feasibly find the optimal setup for system performance maximization. In this paper, we propose CubicML which uses ML to automatically optimize training performance of distributed ML systems. In CubicML, we use a ML model as a proxy to predict the training performance for search efficiency and performance modeling flexibility. We proved that CubicML can effectively optimize training speed of in-house ads recommendation models and large language models at Meta.
- Abstract(参考訳): ディープラーニングモデルのスケールアップは、特に産業レコメンデーションモデルや大規模言語モデルにおいて、マシンラーニング(ML)モデルのインテリジェンスを改善するために有効であることが証明されている。
分散MLシステムとアルゴリズム(トレーニング性能を最大化する)の共同設計は、その成功に重要な役割を果たす。
スケールするにつれて、共同設計のハイパーパラメータの数が急速に増加し、システムパフォーマンスの最大化に最適な設定を見つけることが困難になる。
本稿では,分散MLシステムのトレーニング性能を自動最適化するキュービックMLを提案する。
CubicMLでは、機械学習モデルをプロキシとして使用し、探索効率と性能モデリングの柔軟性のトレーニング性能を予測する。
我々は,CubicMLがMetaの社内広告推薦モデルと大規模言語モデルのトレーニング速度を効果的に最適化できることを実証した。
関連論文リスト
- ML-SUPERB 2.0: Benchmarking Multilingual Speech Models Across Modeling Constraints, Languages, and Datasets [106.7760874400261]
本稿では、事前訓練されたSSLと教師付き音声モデルを評価するための新しいベンチマークであるML-SUPERB2.0を提案する。
ML-SUPERBのセットアップよりも性能が向上するが、性能は下流モデル設計に依存している。
また、言語とデータセットのパフォーマンスに大きな違いがあることから、よりターゲットを絞ったアプローチの必要性も示唆されている。
論文 参考訳(メタデータ) (2024-06-12T21:01:26Z) - Verbalized Machine Learning: Revisiting Machine Learning with Language Models [63.10391314749408]
言語化機械学習(VML)の枠組みを紹介する。
VMLはパラメータ空間を人間の解釈可能な自然言語に制限する。
VMLの有効性を実証的に評価するために,いくつかの研究を行っている。
論文 参考訳(メタデータ) (2024-06-06T17:59:56Z) - Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models [90.14693869269519]
MoE LLMはより少ないパラメータで高いパフォーマンスを実現することができるが、パラメータサイズが大きいためデプロイは困難である。
本稿では主に,プラグ・アンド・プレイ・エキスパートレベルのスペーシフィケーション技術を導入することで,MoE LLMの展開効率を向上させることを目的としている。
論文 参考訳(メタデータ) (2024-02-22T18:56:07Z) - CoLLiE: Collaborative Training of Large Language Models in an Efficient
Way [59.09824823710863]
CoLLiEは、大規模な言語モデルの協調トレーニングを容易にする効率的なライブラリである。
モジュール設計と包括的な機能により、CoLLiEは効率性、使いやすさ、カスタマイズのバランスのとれたブレンドを提供する。
論文 参考訳(メタデータ) (2023-12-01T08:02:16Z) - Retrieval-based Knowledge Transfer: An Effective Approach for Extreme
Large Language Model Compression [64.07696663255155]
大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。
しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。
本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
論文 参考訳(メタデータ) (2023-10-24T07:58:20Z) - GEVO-ML: Optimizing Machine Learning Code with Evolutionary Computation [6.525197444717069]
GEVO-MLは、最適化の機会を発見し、機械学習カーネルのパフォーマンスをチューニングするためのツールである。
モデルトレーニングと予測の両方のために、GEVO-MLを2つの異なるMLワークロードでデモする。
GEVO-MLはこれらのモデルに大きな改善を加え、モデル精度が2%の緩和で90.43%の性能向上を達成した。
論文 参考訳(メタデータ) (2023-10-16T09:24:20Z) - MLGOPerf: An ML Guided Inliner to Optimize Performance [7.314201117946244]
本稿では,LLVMのML-Inlinerを用いて,パフォーマンスを最適化する初のエンドツーエンドフレームワークを提案する。
セカンダリMLモデルを使用して、リターゲット強化学習エージェントのトレーニングに使用する報酬を生成する。
分析中の関数のインライン後のスピードアップを予測し、プライマリモデルのための高速なトレーニングフレームワークを可能にする。
論文 参考訳(メタデータ) (2022-07-18T05:47:29Z) - Scalable and Efficient MoE Training for Multitask Multilingual Models [55.987536562357086]
我々は,MoEモデルを数兆のパラメータに効率的にスケールできるシステムを開発した。
また,MoEサンプルの効率を向上させるための新たなトレーニング手法を提案し,時間効率を向上させるために専門家の刈り取り戦略を活用する。
50言語で100億のパラメータで訓練されたモデルは、機械翻訳(MT)および多言語自然言語生成タスクにおける最先端のパフォーマンスを達成することができる。
論文 参考訳(メタデータ) (2021-09-22T00:57:46Z) - Evaluating Deep Learning in SystemML using Layer-wise Adaptive Rate
Scaling(LARS) Optimizer [0.3857494091717916]
LARSをSystemMLを用いて実装したディープラーニングモデルに適用する。
各種バッチサイズで実験を行い、LARSの性能を分散機械学習フレームワークと比較する。
論文 参考訳(メタデータ) (2021-02-05T06:23:56Z) - Robusta: Robust AutoML for Feature Selection via Reinforcement Learning [24.24652530951966]
強化学習(RL)に基づく初の堅牢なAutoMLフレームワークRobostaを提案します。
このフレームワークは,良性サンプルの競争精度を維持しつつ,モデルロバスト性を最大22%向上させることができることを示す。
論文 参考訳(メタデータ) (2021-01-15T03:12:29Z) - MLModelCI: An Automatic Cloud Platform for Efficient MLaaS [15.029094196394862]
当社はこのプラットフォームを,Apache 2.0ライセンス下でGitHub上でオープンソースプロジェクトとしてリリースしています。
私たちのシステムは、現在のMLトレーニングとサービスシステムのギャップを埋めます。
論文 参考訳(メタデータ) (2020-06-09T07:48:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。