論文の概要: Leiden-Fusion Partitioning Method for Effective Distributed Training of Graph Embeddings
- arxiv url: http://arxiv.org/abs/2409.09887v1
- Date: Sun, 15 Sep 2024 22:50:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 17:00:44.994232
- Title: Leiden-Fusion Partitioning Method for Effective Distributed Training of Graph Embeddings
- Title（参考訳）: グラフ埋め込みの効果的な分散学習のためのライデンフュージョン分割法
- Authors: Yuhe Bai, Camelia Constantin, Hubert Naacke,
- Abstract要約: 本稿では,最小限の通信量でグラフを大規模に学習するための分割手法Leiden-Fusionを提案する。
我々の手法は、初期連結グラフに対して、各分割が孤立ノードを持たない密連結な部分グラフであることを保証する。
提案手法の有効性を,複数のベンチマークデータセット上で広範囲に評価することで実証する。
- 参考スコア（独自算出の注目度）: 0.7373617024876725
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: In the area of large-scale training of graph embeddings, effective training frameworks and partitioning methods are critical for handling large networks. However, they face two major challenges: 1) existing synchronized distributed frameworks require continuous communication to access information from other machines, and 2) the inability of current partitioning methods to ensure that subgraphs remain connected components without isolated nodes, which is essential for effective training of GNNs since training relies on information aggregation from neighboring nodes. To address these issues, we introduce a novel partitioning method, named Leiden-Fusion, designed for large-scale training of graphs with minimal communication. Our method extends the Leiden community detection algorithm with a greedy algorithm that merges the smallest communities with highly connected neighboring communities. Our method guarantees that, for an initially connected graph, each partition is a densely connected subgraph with no isolated nodes. After obtaining the partitions, we train a GNN for each partition independently, and finally integrate all embeddings for node classification tasks, which significantly reduces the need for network communication and enhances the efficiency of distributed graph training. We demonstrate the effectiveness of our method through extensive evaluations on several benchmark datasets, achieving high efficiency while preserving the quality of the graph embeddings for node classification tasks.
- Abstract（参考訳）: グラフ埋め込みの大規模トレーニングの分野では、大規模なネットワークを扱う上で効果的なトレーニングフレームワークとパーティショニング手法が重要である。
しかし、それらは2つの大きな課題に直面している。
1) 既存の同期分散フレームワークは、他のマシンからの情報にアクセスするために、継続的な通信を必要とする。
2) GNNを効果的に訓練するためには, 隣接するノードからの情報収集に頼っているため, 孤立ノードを使わずに, サブグラフが接続されたコンポーネントのままであることを保証するために, 現行のパーティショニング手法が欠如している。
これらの問題に対処するために,最小限の通信でグラフを大規模に学習するための分割手法Leiden-Fusionを導入する。
本手法は, 隣接する地域社会と最小のコミュニティを融合した, グリーディーなアルゴリズムを用いて, ライデンコミュニティ検出アルゴリズムを拡張した。
我々の手法は、初期連結グラフに対して、各分割が孤立ノードを持たない密連結な部分グラフであることを保証する。
分割を得た後、各パーティション毎にGNNを個別に訓練し、最終的にノード分類タスクのすべての埋め込みを統合することで、ネットワーク通信の必要性を大幅に低減し、分散グラフトレーニングの効率を高める。
本研究では,ノード分類タスクにおけるグラフ埋め込みの品質を保ちながら,高い効率性を実現するため,複数のベンチマークデータセットに対して広範囲な評価を行うことにより,本手法の有効性を実証する。
関連論文リスト
- MassiveGNN: Efficient Training via Prefetching for Massively Connected Distributed Graphs [11.026326555186333]
本稿では,現在最先端のAmazon DistDGL分散GNNフレームワーク上に,パラメータ化された連続プリフェッチと消去方式を提案する。
NERSC(National Energy Research Scientific Computing Center)のPerlmutterスーパーコンピュータでは、エンドツーエンドのトレーニング性能が15～40%向上している。
論文 参考訳（メタデータ） (2024-10-30T05:10:38Z) - Federated Hypergraph Learning: Hyperedge Completion with Local Differential Privacy [6.295242666794106]
FedHGLは、複数のクライアントにわたる包括的なハイパーグラフニューラルネットワークを協調的にトレーニングするように設計されている。
クロスクライアント機能アグリゲーションは中央サーバで実行され、クライアントがこの情報を活用できるように配布される。
論文 参考訳（メタデータ） (2024-08-09T16:31:41Z) - Distributed Training of Large Graph Neural Networks with Variable Communication Rates [71.7293735221656]
大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングすることは、大きなメモリとコンピューティング要件のために、ユニークな課題を提示する。
グラフを複数のマシンに分割する分散GNNトレーニングは、大きなグラフ上でGNNをトレーニングするための一般的なアプローチである。
本稿では,学習モデルの精度を損なうことなく,分散GNNトレーニングにおける通信量を削減するための可変圧縮方式を提案する。
論文 参考訳（メタデータ） (2024-06-25T14:57:38Z) - Communication-Efficient Decentralized Federated Learning via One-Bit
Compressive Sensing [52.402550431781805]
分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。
集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。
我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-08-31T12:22:40Z) - Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。
我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
論文 参考訳（メタデータ） (2023-08-06T21:04:58Z) - Federated K-Means Clustering via Dual Decomposition-based Distributed
Optimization [0.0]
本稿では,$Kのクラスタリング問題に対する分散トレーニングに双対分解を適用する方法について述べる。
トレーニングは、異なるノードにデータを分割し、コンセンサス制約を通じてこれらのノードをリンクすることで、分散的に行うことができる。
論文 参考訳（メタデータ） (2023-07-25T05:34:50Z) - NodeFormer: A Scalable Graph Structure Learning Transformer for Node
Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。
効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。
グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文 参考訳（メタデータ） (2023-06-14T09:21:15Z) - Distributed Learning over Networks with Graph-Attention-Based
Personalization [49.90052709285814]
分散ディープラーニングのためのグラフベースパーソナライズアルゴリズム(GATTA)を提案する。
特に、各エージェントのパーソナライズされたモデルは、グローバルな部分とノード固有の部分で構成される。
グラフ内の各エージェントを1つのノードとして扱うことにより、ノード固有のパラメータを特徴として扱うことにより、グラフアテンション機構の利点を継承することができる。
論文 参考訳（メタデータ） (2023-05-22T13:48:30Z) - ABC: Aggregation before Communication, a Communication Reduction
Framework for Distributed Graph Neural Network Training and Effective
Partition [0.0]
グラフニューラルネットワーク(GNN)は、グラフ構造データに適したニューラルモデルであり、グラフ構造データの学習表現において優れた性能を示している。
本稿では,分散GNN訓練における通信複雑性について検討する。
グラフ変換プロセスの未知によりエッジ配置を制御できない動的グラフの場合,新しいパーティションパラダイムは特に理想的であることを示す。
論文 参考訳（メタデータ） (2022-12-11T04:54:01Z) - Uniting Heterogeneity, Inductiveness, and Efficiency for Graph
Representation Learning [68.97378785686723]
グラフニューラルネットワーク(GNN)は,グラフ上のノード表現学習の性能を大幅に向上させた。
GNNの過半数クラスは均質グラフのためにのみ設計されており、より有益な異種グラフに劣る適応性をもたらす。
本稿では,低次ノードと高次ノードの両方のエッジに付随するヘテロジニアスなノード特徴をパッケージ化する,新しい帰納的メタパスフリーメッセージパッシング方式を提案する。
論文 参考訳（メタデータ） (2021-04-04T23:31:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。