論文の概要: GCNScheduler: Scheduling Distributed Computing Applications using Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2110.11552v1
• Date: Fri, 22 Oct 2021 01:54:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-25 14:38:59.767771
• Title: GCNScheduler: Scheduling Distributed Computing Applications using Graph Convolutional Networks
• Title（参考訳）: GCNScheduler: グラフ畳み込みネットワークを用いた分散コンピューティングアプリケーションのスケジューリング
• Authors: Mehrdad Kiamari and Bhaskar Krishnamachari
• Abstract要約: グラフ畳み込み型ネットワークベーススケジューラ(GCNScheduler)を提案する。 タスク間データ依存関係構造とネットワーク設定を慎重に入力グラフに統合することにより、GCNSchedulerは所定の目的のためにタスクを効率的にスケジュールすることができる。 従来のHEFTアルゴリズムよりもマインパンが良く、スループット指向のHEFTとほぼ同じスループットであることを示す。
• 参考スコア（独自算出の注目度）: 12.284934135116515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the classical problem of scheduling task graphs corresponding to complex applications on distributed computing systems. A number of heuristics have been previously proposed to optimize task scheduling with respect to metrics such as makespan and throughput. However, they tend to be slow to run, particularly for larger problem instances, limiting their applicability in more dynamic systems. Motivated by the goal of solving these problems more rapidly, we propose, for the first time, a graph convolutional network-based scheduler (GCNScheduler). By carefully integrating an inter-task data dependency structure with network settings into an input graph and feeding it to an appropriate GCN, the GCNScheduler can efficiently schedule tasks of complex applications for a given objective. We evaluate our scheme with baselines through simulations. We show that not only can our scheme quickly and efficiently learn from existing scheduling schemes, but also it can easily be applied to large-scale settings where current scheduling schemes fail to handle. We show that it achieves better makespan than the classic HEFT algorithm, and almost the same throughput as throughput-oriented HEFT (TP-HEFT), while providing several orders of magnitude faster scheduling times in both cases. For example, for makespan minimization, GCNScheduler schedules 50-node task graphs in about 4 milliseconds while HEFT takes more than 1500 seconds; and for throughput maximization, GCNScheduler schedules 100-node task graphs in about 3.3 milliseconds, compared to about 6.9 seconds for TP-HEFT.
• Abstract（参考訳）: 分散コンピューティングシステムにおける複雑なアプリケーションに対応するタスクグラフをスケジューリングする古典的な問題を考察する。 makespanやスループットといったメトリクスに関してタスクスケジューリングを最適化するために、これまで多くのヒューリスティックが提案されてきた。 しかしながら、特に大きな問題インスタンスでは実行が遅くなり、よりダイナミックなシステムでの適用性が制限される傾向にある。 そこで我々は,これらの問題を高速に解くことを目標として,グラフ畳み込みネットワークベースのスケジューラ(GCNScheduler)を提案する。 タスク間データ依存構造とネットワーク設定を慎重に統合し、それを適切なGCNに供給することにより、GCNSchedulerは所定の目的のために複雑なアプリケーションのタスクを効率的にスケジュールすることができる。 シミュレーションにより,提案手法をベースラインで評価する。 提案手法は,既存のスケジューリング方式から高速かつ効率的に学習できるだけでなく,現在のスケジューリング方式では処理できない大規模設定にも容易に適用できることを示す。 本稿では,従来のHEFTアルゴリズムよりも精度が高く,スループット指向のHEFT(TP-HEFT)とほぼ同等のスループットを実現するとともに,どちらの場合も桁違いに高速なスケジューリング時間を提供できることを示す。 例えば、メースパンの最小化では、GCNSchedulerはおよそ4ミリ秒で50ノードのタスクグラフをスケジュールし、HEFTは1500秒以上、スループットの最大化では、約3.3ミリ秒で100ノードのタスクグラフをスケジュールする。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Memory-aware Scheduling for Complex Wired Networks with Iterative Graph Optimization [4.614780125575351]
  本稿では,反復グラフ最適化に基づく効率的なメモリ認識スケジューリングフレームワークを提案する。 我々のフレームワークは、スケジューリングの最適性を保ちながらグラフを単純化する反復グラフ融合アルゴリズムを備えている。
  論文  参考訳（メタデータ） (2023-08-26T14:52:02Z)
• RESPECT: Reinforcement Learning based Edge Scheduling on Pipelined Coral Edge TPUs [12.952987240366781]
  本研究は、最適化アルゴリズムの挙動を学習する強化学習(RL)に基づくスケジューリングフレームワークを提案する。 RLは、実行時のオーバーヘッドを短くすることで、ほぼ最適のスケジューリング結果を生成する。 我々のフレームワークは、商用コンパイラ上での実世界のオンチップランタイム推論速度アップを最大$sim2.5times$で実証しています。
  論文  参考訳（メタデータ） (2023-04-10T17:22:12Z)
• Arch-Graph: Acyclic Architecture Relation Predictor for Task-Transferable Neural Architecture Search [96.31315520244605]
  Arch-Graphはタスク固有の最適アーキテクチャを予測するトランスファー可能なNASメソッドである。 Arch-Graphの転送性と,多数のタスクにわたる高いサンプル効率を示す。 わずか50モデルの予算の下で、2つの検索スペースで平均して0.16%と0.29%のアーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2022-04-12T16:46:06Z)
• Better than the Best: Gradient-based Improper Reinforcement Learning for Network Scheduling [60.48359567964899]
  パケット遅延を最小限に抑えるため,制約付き待ち行列ネットワークにおけるスケジューリングの問題を考える。 我々は、利用可能な原子ポリシーよりも優れたスケジューラを生成するポリシー勾配に基づく強化学習アルゴリズムを使用する。
  論文  参考訳（メタデータ） (2021-05-01T10:18:34Z)
• Learning to Schedule DAG Tasks [7.577417675452624]
  有向非周期グラフ(DAG)のスケジューリングに関する新しい学習手法を提案する。 このアルゴリズムは強化学習エージェントを用いて、DAGに向けられたエッジを反復的に追加する。 我々の手法は既存のスケジューリングアルゴリズムにも容易に適用できる。
  論文  参考訳（メタデータ） (2021-03-05T01:10:24Z)
• Learning to Execute Programs with Instruction Pointer Attention Graph Neural Networks [55.98291376393561]
  グラフニューラルネットワーク(GNN)は、ソフトウェアエンジニアリングタスクを学習するための強力なツールとして登場した。 リカレントニューラルネットワーク(RNN)は、長いシーケンシャルな推論の連鎖に適しているが、プログラム構造を自然に組み込んでいるわけではない。 本稿では,新しいGNNアーキテクチャ,IPA-GNN(Instruction Pointer Attention Graph Neural Networks)を導入する。
  論文  参考訳（メタデータ） (2020-10-23T19:12:30Z)
• Knowledge-Assisted Deep Reinforcement Learning in 5G Scheduler Design: From Theoretical Framework to Implementation [34.5517138843888]
  5Gネットワークにおけるスケジューラ設計のための知識支援深層強化学習アルゴリズムを開発した。 DDPGの簡単な実装は、徐々に収束し、QoS性能が悪く、現実世界の5Gシステムでは実装できないことを示す。
  論文  参考訳（メタデータ） (2020-09-17T14:52:12Z)
• Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
  GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。 高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。 このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
  論文  参考訳（メタデータ） (2020-07-03T09:30:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。