論文の概要: Efficient Direct-Connect Topologies for Collective Communications
- arxiv url: http://arxiv.org/abs/2202.03356v2
- Date: Tue, 30 May 2023 01:07:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-01 03:16:35.128455
- Title: Efficient Direct-Connect Topologies for Collective Communications
- Title（参考訳）: 集団コミュニケーションのための効率的な直接接続トポロジー
- Authors: Liangyu Zhao and Siddharth Pal and Tapan Chugh and Weiyang Wang and
Prithwish Basu and Joud Khoury and Arvind Krishnamurthy
- Abstract要約: ノードのレイテンシと帯域幅のトレードオフに最適化された直接接続トポロジを構築するためのアルゴリズムフレームワークを提供する。
派生したトポロジとスケジュールは、既存のアプローチよりも大きなパフォーマンス上のメリットをもたらすことを示す。
- 参考スコア（独自算出の注目度）: 4.781637577454816
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of distilling efficient network topologies for
collective communications. We provide an algorithmic framework for constructing
direct-connect topologies optimized for the node latency vs bandwidth trade-off
given a collective communication workload. Our algorithmic framework allows us
to start from small base topologies and associated communication schedules and
use a set of techniques that can be iteratively applied to derive much larger
topologies. The schedules for these derived topologies are either synthesized
along with the expansions or computed using an optimization formulation. Our
approach allows us to synthesize many different topologies and schedules for a
given cluster size and degree, and then identify the appropriate topology and
schedule for a given workload. We evaluate our approach on a 12-node optical
testbed that uses patch panels for configuring the desired topology and augment
it with an analytical-model-based evaluation for larger deployments. We show
that the derived topologies and schedules provide significant performance
benefits over existing approaches.
- Abstract（参考訳）: 集団コミュニケーションのための効率的なネットワークトポロジーを蒸留する問題を考える。
集団通信作業負荷に対してノードレイテンシと帯域幅のトレードオフに最適化された直接接続トポロジを構築するためのアルゴリズムフレームワークを提供する。
我々のアルゴリズムフレームワークは、小さなベーストポロジと関連する通信スケジュールから始めて、より大規模なトポロジを導出するために反復的に適用可能な一連のテクニックを使用することができます。
これらの派生トポロジのスケジュールは拡張とともに合成されるか、最適化定式化を用いて計算される。
このアプローチにより、与えられたクラスタサイズと度合いの様々なトポロジとスケジュールを合成し、与えられたワークロードの適切なトポロジとスケジュールを特定することができます。
我々は,望まれるトポロジの設定にパッチパネルを用いた12ノード光テストベッドのアプローチを評価し,大規模展開のための解析モデルに基づく評価を行った。
導出されたトポロジとスケジュールは、既存のアプローチよりも大きなパフォーマンス上の利点を提供する。
関連論文リスト
- Memory-aware Scheduling for Complex Wired Networks with Iterative Graph
Optimization [4.614780125575351]
本稿では,反復グラフ最適化に基づく効率的なメモリ認識スケジューリングフレームワークを提案する。
我々のフレームワークは、スケジューリングの最適性を保ちながらグラフを単純化する反復グラフ融合アルゴリズムを備えている。
論文 参考訳（メタデータ） (2023-08-26T14:52:02Z) - Let the Flows Tell: Solving Graph Combinatorial Optimization Problems
with GFlowNets [86.43523688236077]
組合せ最適化(CO)問題はしばしばNPハードであり、正確なアルゴリズムには及ばない。
GFlowNetsは、複合非正規化密度を逐次サンプリングする強力な機械として登場した。
本稿では,異なる問題に対してマルコフ決定プロセス(MDP)を設計し,条件付きGFlowNetを学習して解空間からサンプルを作成することを提案する。
論文 参考訳（メタデータ） (2023-05-26T15:13:09Z) - MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion
Control in Real Networks [63.24965775030673]
そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。
我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。
我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
論文 参考訳（メタデータ） (2023-02-02T18:27:20Z) - Exact and rapid linear clustering of networks with dynamic programming [0.5371337604556311]
本研究では,ノードが暗示的あるいは物理的位置を単一次元に持つクラスタリングネットワークの問題点について検討する。
臨界ギャップ法やその他の戦略のような既存のアルゴリズムは、この問題を近似的にのみ提供する。
論文 参考訳（メタデータ） (2023-01-25T04:36:41Z) - Sublinear Algorithms for Hierarchical Clustering [14.124026862687941]
本稿では,3つの線形計算モデルに基づく大規模グラフの階層クラスタリングについて検討する。
すべてのモデルにおいて階層クラスタリングのためのサブ線形アルゴリズムを設計する。
論文 参考訳（メタデータ） (2022-06-15T16:25:27Z) - Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent
Signals: Application to Hyperspectral Imaging [71.57324258813675]
相互依存信号のデータセットは、列が強い依存を示す行列として定義される。
ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。
ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
論文 参考訳（メタデータ） (2022-03-29T21:00:39Z) - DESTRESS: Computation-Optimal and Communication-Efficient Decentralized
Nonconvex Finite-Sum Optimization [43.31016937305845]
インターネット・オブ・シング、ネットワークセンシング、自律システム、有限サム最適化のための分散アルゴリズムのためのフェデレーション学習。
非有限サム最適化のためのDecentralized STochastic Recursive MethodDESTRESSを開発した。
詳細な理論的および数値的な比較は、DESTRESSが事前の分散アルゴリズムにより改善されていることを示している。
論文 参考訳（メタデータ） (2021-10-04T03:17:41Z) - Unsupervised Domain-adaptive Hash for Networks [81.49184987430333]
ドメイン適応型ハッシュ学習はコンピュータビジョンコミュニティでかなりの成功を収めた。
UDAHと呼ばれるネットワークのための教師なしドメイン適応型ハッシュ学習手法を開発した。
論文 参考訳（メタデータ） (2021-08-20T12:09:38Z) - Better than the Best: Gradient-based Improper Reinforcement Learning for
Network Scheduling [60.48359567964899]
パケット遅延を最小限に抑えるため,制約付き待ち行列ネットワークにおけるスケジューリングの問題を考える。
我々は、利用可能な原子ポリシーよりも優れたスケジューラを生成するポリシー勾配に基づく強化学習アルゴリズムを使用する。
論文 参考訳（メタデータ） (2021-05-01T10:18:34Z) - Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。
問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。
本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-07T08:00:02Z) - Distributed Optimization, Averaging via ADMM, and Network Topology [0.0]
センサローカライゼーションの現実問題において,ネットワークトポロジと異なるアルゴリズムの収束率の関係について検討する。
また、ADMMと持ち上げマルコフ連鎖の間の興味深い関係を示すとともに、その収束を明示的に特徴づける。
論文 参考訳（メタデータ） (2020-09-05T21:44:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。