論文の概要: Partitioning Distributed Compute Jobs with Reinforcement Learning and Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2301.13799v1
• Date: Tue, 31 Jan 2023 17:41:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-01 15:33:35.987384
• Title: Partitioning Distributed Compute Jobs with Reinforcement Learning and Graph Neural Networks
• Title（参考訳）: 強化学習とグラフニューラルネットワークによる分散計算ジョブの分割
• Authors: Christopher W. F. Parsonson, Zacharaya Shabka, Alessandro Ottino, and Georgios Zervas
• Abstract要約: 大規模な機械学習モデルは、幅広い分野に進歩をもたらしている。 これらのモデルの多くは、単一のマシンでトレーニングするには大きすぎるため、複数のデバイスに分散する必要がある。 スループットやブロッキングレートといったユーザクリティカルな指標に対して,並列化の最大化が準最適であることを示す。
• 参考スコア（独自算出の注目度）: 58.720142291102135
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: From natural language processing to genome sequencing, large-scale machine learning models are bringing advances to a broad range of fields. Many of these models are too large to be trained on a single machine, and instead must be distributed across multiple devices. This has motivated the research of new compute and network systems capable of handling such tasks. In particular, recent work has focused on developing management schemes which decide how to allocate distributed resources such that some overall objective, such as minimising the job completion time (JCT), is optimised. However, such studies omit explicit consideration of how much a job should be distributed, usually assuming that maximum distribution is desirable. In this work, we show that maximum parallelisation is sub-optimal in relation to user-critical metrics such as throughput and blocking rate. To address this, we propose PAC-ML (partitioning for asynchronous computing with machine learning). PAC-ML leverages a graph neural network and reinforcement learning to learn how much to partition computation graphs such that the number of jobs which meet arbitrary user-defined JCT requirements is maximised. In experiments with five real deep learning computation graphs on a recently proposed optical architecture across four user-defined JCT requirement distributions, we demonstrate PAC-ML achieving up to 56.2% lower blocking rates in dynamic job arrival settings than the canonical maximum parallelisation strategy used by most prior works.
• Abstract（参考訳）: 自然言語処理からゲノムシークエンシングに至るまで、大規模な機械学習モデルは幅広い分野に進歩をもたらしている。 これらのモデルの多くは、単一のマシンでトレーニングするには大きすぎるため、複数のデバイスに分散する必要がある。 これは、そのようなタスクを処理できる新しい計算システムとネットワークシステムの研究を動機付けている。 特に最近の研究は、ジョブ完了時間(jct)の最小化など、いくつかの全体的な目的が最適化されるような分散リソースの割り当て方法を決定するマネジメントスキームの開発に重点を置いている。 しかしながら、そのような研究は、通常、最大分布が望ましいと仮定して、どれだけのジョブを配布すべきかを明確に考慮する。 本研究では,スループットやブロッキングレートといったユーザクリティカルな指標に対して,並列化の最大化が準最適であることを示す。 そこで我々はpac-ml (partitioning for asynchronous computing with machine learning)を提案する。 PAC-MLはグラフニューラルネットワークと強化学習を利用して、任意のユーザ定義のJCT要件を満たすジョブの数を最大化するような計算グラフを分割する方法を学ぶ。 ユーザが定義した4つのJCT要求分布にまたがる最近提案された光学アーキテクチャ上で、5つの実ディープラーニング計算グラフを用いた実験において、PAC-MLは、ほとんどの先行研究で使われる標準の最大並列化戦略よりも、動的ジョブ到着設定において最大56.2%のブロッキングレートを達成することを示した。

関連論文リスト

• Multi-Task Learning as enabler for General-Purpose AI-native RAN [1.4295558450631414]
  本研究では、汎用AIネイティブ無線アクセスネットワーク(RAN)におけるマルチタスク学習(MTL)アプローチの有効性について検討する。 本研究は, (i) セカンダリキャリア予測, (ii) ユーザ位置予測, (iii) 屋内リンク分類, (iv) 視線リンク分類の4つのタスクに焦点を当てた。 モデルアーキテクチャ,損失と勾配のバランス戦略,分散学習トポロジ,データ空間,タスクグループ化など,MLLの多面的設計面を考慮した現実的なシミュレーションによる性能評価を行った。
  論文  参考訳（メタデータ） (2024-04-05T21:12:25Z)
• Reconfigurable Distributed FPGA Cluster Design for Deep Learning Accelerators [59.11160990637615]
  エッジコンピューティングアプリケーション用に設計された低消費電力組み込みFPGAに基づく分散システムを提案する。 提案システムは,様々なニューラルネットワーク(NN)モデルを同時に実行し,パイプライン構造にグラフを配置し,NNグラフの最も計算集約的な層により大きなリソースを手動で割り当てる。
  論文  参考訳（メタデータ） (2023-05-24T16:08:55Z)
• Towards Optimal VPU Compiler Cost Modeling by using Neural Networks to Infer Hardware Performances [58.720142291102135]
  VPUNN"は低レベルのタスクプロファイリングに基づいてトレーニングされたニューラルネットワークベースのコストモデルである。 これは、IntelのVPUプロセッサのラインにおける最先端のコストモデリングよりも一貫して優れている。
  論文  参考訳（メタデータ） (2022-05-09T22:48:39Z)
• A Transferable Approach for Partitioning Machine Learning Models on Multi-Chip-Modules [8.224904698490626]
  マルチチップモジュール(MCM)は、機械学習アクセラレータの設計と製造コストを削減する。 本稿では, 深い強化学習フレームワークを用いて, 潜在的に無効な候補分割を出力し, 制約解法によって補正する戦略を提案する。 実ハードウェア上でのプロダクションスケールモデルBERTの評価により,RLポリシを用いて生成したパーティショニングのスループットが6.11%,5.85%向上したことが明らかとなった。
  論文  参考訳（メタデータ） (2021-12-07T23:40:28Z)
• DistIR: An Intermediate Representation and Simulator for Efficient Neural Network Distribution [15.086401550425125]
  DistIRは分散計算のための表現であり、効率的な解析のために調整されている。 本研究では、DistIRとそのシミュレータが1000以上の構成にまたがる複雑な分散空間を高速にグリッドで探索する方法を示す。
  論文  参考訳（メタデータ） (2021-11-09T21:32:51Z)
• Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
  モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。 既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。 本稿では,MAMLのメモリベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-09T08:47:58Z)
• Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
  我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。 提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。 シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
  論文  参考訳（メタデータ） (2020-10-06T16:51:09Z)
• Deep Generative Models that Solve PDEs: Distributed Computing for Training Large Data-Free Models [25.33147292369218]
  科学機械学習(SciML)の最近の進歩は、複雑な偏微分方程式(PDE)を解く新しいニューラルネットワークアーキテクチャを訓練する可能性を開く。 本稿では、これらの大規模SciMLモデルをトレーニングする2つの課題を解決するために、データ並列分散ディープラーニングのためのソフトウェアフレームワークについて報告する。 私たちのフレームワークは、(a)プロセス数に依存しない損失整合性、(b)同期バッチ正規化、(c)分散高階最適化方法など、いくつかのアウトオブボックス機能を提供します。
  論文  参考訳（メタデータ） (2020-07-24T22:42:35Z)
• Efficient Algorithms for Device Placement of DNN Graph Operators [12.871398348743591]
  現代の機械学習ワークロードは、実行に非常にコストがかかる複雑な構造を持つ大規模なモデルを使用する。 複雑なモデルを実行するデバイスは、CPUに加えて、ハードウェアアクセラレータとして提供されるドメイン固有のアクセラレータが盛んになるにつれて、ますます異質になりつつある。 近年の研究では、モデルの並列性、すなわちニューラルネットワークの計算グラフを複数のデバイスに分割することで、大きな利益が得られることが示されている。 本稿では,DNN演算子のデバイス配置のコアとなる構造的最適化問題を,特に現代のパイプライン環境において,推論とトレーニングの両方のために同定し,分離する。
  論文  参考訳（メタデータ） (2020-06-29T22:45:01Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。