論文の概要: Graph Ladling: Shockingly Simple Parallel GNN Training without Intermediate Communication

• arxiv url: http://arxiv.org/abs/2306.10466v2
• Date: Thu, 24 Aug 2023 00:28:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-25 17:29:23.965260
• Title: Graph Ladling: Shockingly Simple Parallel GNN Training without Intermediate Communication
• Title（参考訳）: グラフラドリング: 中間的コミュニケーションを伴わない極めて単純な並列GNNトレーニング
• Authors: Ajay Jaiswal, Shiwei Liu, Tianlong Chen, Ying Ding, Zhangyang Wang
• Abstract要約: GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。 GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。 本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
• 参考スコア（独自算出の注目度）: 100.51884192970499
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graphs are omnipresent and GNNs are a powerful family of neural networks for learning over graphs. Despite their popularity, scaling GNNs either by deepening or widening suffers from prevalent issues of unhealthy gradients, over-smoothening, information squashing, which often lead to sub-standard performance. In this work, we are interested in exploring a principled way to scale GNNs capacity without deepening or widening, which can improve its performance across multiple small and large graphs. Motivated by the recent intriguing phenomenon of model soups, which suggest that fine-tuned weights of multiple large-language pre-trained models can be merged to a better minima, we argue to exploit the fundamentals of model soups to mitigate the aforementioned issues of memory bottleneck and trainability during GNNs scaling. More specifically, we propose not to deepen or widen current GNNs, but instead present a data-centric perspective of model soups tailored for GNNs, i.e., to build powerful GNNs. By dividing giant graph data, we build multiple independently and parallelly trained weaker GNNs (soup ingredient) without any intermediate communication, and combine their strength using a greedy interpolation soup procedure to achieve state-of-the-art performance. Compared to concurrent distributed GNN training works such as Jiong et. al. 2023, we train each soup ingredient by sampling different subgraphs per epoch and their respective sub-models are merged only after being fully trained (rather than intermediately so). Moreover, we provide a wide variety of model soup preparation techniques by leveraging state-of-the-art graph sampling and graph partitioning approaches that can handle large graphs. Codes are available at: \url{https://github.com/VITA-Group/graph_ladling}.
• Abstract（参考訳）: グラフは一様であり、GNNはグラフを学習するためのニューラルネットワークの強力なファミリーである。 その人気にもかかわらず、gnnの拡張は、不健全な勾配、過剰なスモーニング、情報のスカッシュといった一般的な問題に苦しめられ、それがしばしば標準以下のパフォーマンスに繋がる。 本研究では,GNNのキャパシティを拡張・拡張することなく拡張し,複数の小・大規模グラフにまたがる性能向上を図ることに興味がある。 最近のモデルスープの興味深い現象に触発されて、複数の大規模言語事前学習モデルの微調整重量をより良いミニマにマージできることが示唆され、モデルスープの基本を利用して、GNNスケーリング時のメモリボトルネックやトレーサビリティの問題を緩和する。 より具体的には、現在のGNNをさらに深めたり広げたりするのではなく、GNNに適したモデルスープ、すなわち強力なGNNを構築するためのデータ中心の視点を示すことを提案する。 ジャイアントグラフデータを分割することで,中間的なコミュニケーションを必要とせず,複数の独立かつ並列に訓練された弱いgnn(gnn)を構築し,その強度を欲張りな補間スーププロシージャで組み合わせ,最先端のパフォーマンスを実現する。 Jiongなど,同時分散GNNトレーニング作業と比較する。 2023年、エポック毎に異なるサブグラフをサンプリングして各スープ成分を訓練し、そのサブモデルが完全に訓練された後にのみマージされる。 さらに,最先端のグラフサンプリングと大規模グラフ処理が可能なグラフ分割アプローチを活用し,多種多様なモデルスープ調製手法を提供する。 コードは以下の通り: \url{https://github.com/VITA-Group/graph_ladling}。

関連論文リスト

• Sketch-GNN: Scalable Graph Neural Networks with Sublinear Training Complexity [30.2972965458946]
  グラフネットワーク(GNN)はノード分類などのグラフ学習問題に広く適用されている。 GNNの基盤となるグラフをより大きなサイズにスケールアップする場合、完全なグラフをトレーニングするか、あるいは完全なグラフの隣接とノードのメモリへの埋め込みを維持せざるを得ません。 本稿では,学習時間と記憶量がグラフサイズに比例して増加するスケッチベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-21T18:22:11Z)
• GNN-Ensemble: Towards Random Decision Graph Neural Networks [3.7620848582312405]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データに広く応用されている。 GNNは、大量のテストデータに基づいて推論を行うために、限られた量のトレーニングデータから潜伏パターンを学習する必要がある。 本稿では、GNNのアンサンブル学習を一歩前進させ、精度、堅牢性、敵攻撃を改善した。
  論文  参考訳（メタデータ） (2023-03-20T18:24:01Z)
• Distributed Graph Neural Network Training: A Survey [51.77035975191926]
  グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。 GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。 治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
  論文  参考訳（メタデータ） (2022-11-01T01:57:00Z)
• Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
  グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。 我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
  論文  参考訳（メタデータ） (2022-10-27T16:00:45Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。 生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。 GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-27T20:12:33Z)
• XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
  グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。 GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。 我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。