論文の概要: Bandwidth Optimal Pipeline Schedule for Collective Communication
- arxiv url: http://arxiv.org/abs/2305.18461v2
- Date: Wed, 31 May 2023 20:24:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 21:06:48.906435
- Title: Bandwidth Optimal Pipeline Schedule for Collective Communication
- Title(参考訳): 集合通信のための帯域幅最適パイプラインスケジュール
- Authors: Liangyu Zhao, Arvind Krishnamurthy
- Abstract要約: 我々は,任意のネットワークトポロジ上で,帯域幅の最適な全ゲザ/リデューサ・スキャッタを生成するために,強ゲザ時間アルゴリズムを提案する。
パイプラインは、与えられたトポロジ上で最高の帯域幅を達成するスケジュールを構築する。
- 参考スコア(独自算出の注目度): 6.341156131901433
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a strongly polynomial-time algorithm to generate bandwidth optimal
allgather/reduce-scatter on any network topology, with or without switches. Our
algorithm constructs pipeline schedules achieving provably the best possible
bandwidth performance on a given topology. To provide a universal solution, we
model the network topology as a directed graph with heterogeneous link
capacities and switches directly as vertices in the graph representation. The
algorithm is strongly polynomial-time with respect to the topology size. This
work heavily relies on previous graph theory work on edge-disjoint spanning
trees and edge splitting. While we focus on allgather, the methods in this
paper can be easily extended to generate schedules for reduce, broadcast,
reduce-scatter, and allreduce.
- Abstract(参考訳): 我々は,スイッチの有無に関わらず,任意のネットワークトポロジ上で帯域幅の最適allgather/reduce-scatterを生成するための強多項式時間アルゴリズムを提案する。
提案アルゴリズムは,与えられたトポロジ上で最高の帯域幅性能を実現するパイプラインスケジュールを構築する。
普遍的な解法を提供するため、ネットワークトポロジーを不均一なリンク容量を持つ有向グラフとしてモデル化し、グラフ表現の頂点として直接スイッチする。
アルゴリズムはトポロジーサイズに関して強い多項式時間である。
この研究は、エッジ分離スパンディングツリーとエッジ分割に関する以前のグラフ理論の研究に大きく依存している。
allgatherにフォーカスしながら、この論文のメソッドを簡単に拡張して、reduce、casting、reduce-scatter、allreduceのスケジュールを生成することができます。
関連論文リスト
- Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding [51.75091298017941]
本稿では,属性付きグラフデータに対する新しいDeep Manifold (Variational) Graph Auto-Encoder (DMVGAE/DMGAE)を提案する。
提案手法は,最先端のベースラインアルゴリズムを,一般的なデータセット間でのダウンストリームタスクの差を大きく越える。
論文 参考訳(メタデータ) (2024-01-12T17:57:07Z) - Unsupervised Graph-based Learning Method for Sub-band Allocation in 6G
Subnetworks [1.0951772570165874]
グラフベース学習を用いた無線ネットワークにおける周波数サブバンド割り当てのための教師なし手法を提案する。
サブネットワーク配置を競合グラフとしてモデル化し,グラフカラー化とPottsモデルにインスパイアされた教師なし学習アプローチを提案し,サブバンド割り当てを最適化する。
論文 参考訳(メタデータ) (2023-12-13T12:57:55Z) - Memory-aware Scheduling for Complex Wired Networks with Iterative Graph
Optimization [4.614780125575351]
本稿では,反復グラフ最適化に基づく効率的なメモリ認識スケジューリングフレームワークを提案する。
我々のフレームワークは、スケジューリングの最適性を保ちながらグラフを単純化する反復グラフ融合アルゴリズムを備えている。
論文 参考訳(メタデータ) (2023-08-26T14:52:02Z) - NodeFormer: A Scalable Graph Structure Learning Transformer for Node
Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。
効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。
グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文 参考訳(メタデータ) (2023-06-14T09:21:15Z) - Temporal Aggregation and Propagation Graph Neural Networks for Dynamic
Representation [67.26422477327179]
時間グラフは連続時間を通してノード間の動的相互作用を示す。
本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。
提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-04-15T08:17:18Z) - EGRC-Net: Embedding-induced Graph Refinement Clustering Network [66.44293190793294]
埋め込みによるグラフリファインメントクラスタリングネットワーク (EGRC-Net) という新しいグラフクラスタリングネットワークを提案する。
EGRC-Netは学習した埋め込みを利用して初期グラフを適応的に洗練し、クラスタリング性能を向上させる。
提案手法はいくつかの最先端手法より一貫して優れている。
論文 参考訳(メタデータ) (2022-11-19T09:08:43Z) - Optimal Graph Filters for Clustering Attributed Graphs [26.53951886710295]
大きなデータセットを研究する上で重要なタスクはグラフクラスタリングである。
最近の研究は、構造情報とコンテンツ情報を組み合わせたグラフ畳み込みネットワークとグラフ畳み込みフィルタに焦点を当てている。
グラフ信号処理に基づくアプローチを導入し、クラスタリングに最適化されたグラフフィルタを設計する。
論文 参考訳(メタデータ) (2022-11-09T01:49:23Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳(メタデータ) (2022-09-20T14:41:37Z) - Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。
また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文 参考訳(メタデータ) (2022-05-06T03:37:00Z) - G-CREWE: Graph CompREssion With Embedding for Network Alignment [18.200401309702173]
本稿では,ネットワークアライメント問題を解決するG-CREWEというフレームワークを提案する。
G-CREWEはノード埋め込みを使用して、ネットワークを2段階の解像度で整列させる。
また,MERGEと呼ばれる新しい圧縮機構を提案し,入力ネットワークのサイズを小さくする。
論文 参考訳(メタデータ) (2020-07-30T05:30:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。