論文の概要: Increase and Conquer: Training Graph Neural Networks on Growing Graphs

• arxiv url: http://arxiv.org/abs/2106.03693v1
• Date: Mon, 7 Jun 2021 15:05:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 17:28:50.010704
• Title: Increase and Conquer: Training Graph Neural Networks on Growing Graphs
• Title（参考訳）: up and conquer: 成長グラフ上でのトレーニンググラフニューラルネットワーク
• Authors: Juan Cervino, Luana Ruiz and Alejandro Ribeiro
• Abstract要約: 本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。 これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 116.03137405192356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) use graph convolutions to exploit network invariances and learn meaningful features from network data. However, on large-scale graphs convolutions incur in high computational cost, leading to scalability limitations. Leveraging the graphon -- the limit object of a graph -- in this paper we consider the problem of learning a graphon neural network (WNN) -- the limit object of a GNN -- by training GNNs on graphs sampled Bernoulli from the graphon. Under smoothness conditions, we show that: (i) the expected distance between the learning steps on the GNN and on the WNN decreases asymptotically with the size of the graph, and (ii) when training on a sequence of growing graphs, gradient descent follows the learning direction of the WNN. Inspired by these results, we propose a novel algorithm to learn GNNs on large-scale graphs that, starting from a moderate number of nodes, successively increases the size of the graph during training. This algorithm is benchmarked on both a recommendation system and a decentralized control problem where it is shown to retain comparable performance, to its large-scale counterpart, at a reduced computational cost.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、ネットワーク不変性を利用したグラフ畳み込みを使用して、ネットワークデータから意味のある特徴を学習する。 しかし、大規模グラフの畳み込みは高い計算コストを伴い、スケーラビリティの限界をもたらす。 本稿では、グラフの極限オブジェクトであるgraphonを利用して、gnnの限界オブジェクトであるgraphon neural network(wnn)を学習する問題を、graphonからベルヌーイをサンプリングしたグラフ上でgnnをトレーニングすることで検討する。 平滑性条件下では, (i) gnn上の学習ステップとwnn上の学習ステップとの間の期待距離は, グラフの大きさと漸近的に減少し, (ii) 成長グラフのシーケンスでトレーニングすると, 勾配降下はwnnの学習方向に従う。 これらの結果に触発されて,中程度のノード数から,トレーニング中にグラフのサイズを順次増加させる大規模グラフ上でgnnを学習する新しいアルゴリズムを提案する。 このアルゴリズムは推奨システムと分散制御の問題の両方でベンチマークされ、計算コストを削減した大規模システムと比較して、同等の性能を維持することが示されている。

関連論文リスト

• Can Graph Reordering Speed Up Graph Neural Network Training? An Experimental Study [13.354505458409957]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習することができる。 グラフのばらつきは、最適以下のメモリアクセスパターンと長いトレーニング時間をもたらす。 グラフの並べ替えは、CPUおよびGPUベースのトレーニングのトレーニング時間を削減するのに有効であることを示す。
  論文  参考訳（メタデータ） (2024-09-17T12:28:02Z)
• Sketch-GNN: Scalable Graph Neural Networks with Sublinear Training Complexity [30.2972965458946]
  グラフネットワーク(GNN)はノード分類などのグラフ学習問題に広く適用されている。 GNNの基盤となるグラフをより大きなサイズにスケールアップする場合、完全なグラフをトレーニングするか、あるいは完全なグラフの隣接とノードのメモリへの埋め込みを維持せざるを得ません。 本稿では,学習時間と記憶量がグラフサイズに比例して増加するスケッチベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-21T18:22:11Z)
• Learning to Reweight for Graph Neural Network [63.978102332612906]
  グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。 既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。 本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T12:25:10Z)
• Transferability of Graph Neural Networks using Graphon and Sampling Theories [0.0]
  グラフニューラルネットワーク(GNN)は、さまざまなドメインでグラフベースの情報を処理するための強力なツールとなっている。 GNNの望ましい特性は転送可能性であり、トレーニングされたネットワークは、その正確性を再トレーニングすることなく、異なるグラフから情報を交換することができる。 我々は,2層グラファイトニューラルネットワーク(WNN)アーキテクチャを明示することにより,GNNへのグラファイトの適用に寄与する。
  論文  参考訳（メタデータ） (2023-07-25T02:11:41Z)
• Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
  グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。 我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
  論文  参考訳（メタデータ） (2022-10-27T16:00:45Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Transferability Properties of Graph Neural Networks [125.71771240180654]
  グラフニューラルネットワーク(GNN)は、中規模グラフでサポートされているデータから表現を学ぶのに成功している。 適度な大きさのグラフ上でGNNを訓練し、それらを大規模グラフに転送する問題について検討する。 その結果, (i) グラフサイズに応じて転送誤差が減少し, (ii) グラフフィルタは非線型性の散乱挙動によってGNNにおいて緩和されるような転送可能性-識別可能性トレードオフを有することがわかった。
  論文  参考訳（メタデータ） (2021-12-09T00:08:09Z)
• GraphTheta: A Distributed Graph Neural Network Learning System With Flexible Training Strategy [5.466414428765544]
  新しい分散グラフ学習システムGraphThetaを紹介します。 複数のトレーニング戦略をサポートし、大規模グラフ上で効率的でスケーラブルな学習を可能にします。 この仕事は、文学における10億規模のネットワーク上で実施された最大のエッジアトリビュートGNN学習タスクを表します。
  論文  参考訳（メタデータ） (2021-04-21T14:51:33Z)
• XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
  グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。 GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。 我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。