論文の概要: MG-GCN: Fast and Effective Learning with Mix-grained Aggregators for
Training Large Graph Convolutional Networks
- arxiv url: http://arxiv.org/abs/2011.09900v1
- Date: Tue, 17 Nov 2020 14:51:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-24 15:52:55.615386
- Title: MG-GCN: Fast and Effective Learning with Mix-grained Aggregators for
Training Large Graph Convolutional Networks
- Title（参考訳）: mg-gcn:大規模グラフ畳み込みネットワークの学習のためのミックスグレードアグリゲータによる高速かつ効果的な学習
- Authors: Tao Huang, Yihan Zhang, Jiajing Wu, Junyuan Fang, Zibin Zheng
- Abstract要約: グラフ畳み込みネットワーク(GCN)は、隣人層の情報を層ごとに集約することでノードの埋め込みを生成する。
GCNの高計算とメモリコストにより、大きなグラフのトレーニングが不可能になる。
MG-GCNと呼ばれる新しいモデルでは、精度、トレーニング速度、収束速度、メモリコストの点で最先端のパフォーマンスを実現している。
- 参考スコア（独自算出の注目度）: 20.07942308916373
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph convolutional networks (GCNs) have been employed as a kind of
significant tool on many graph-based applications recently. Inspired by
convolutional neural networks (CNNs), GCNs generate the embeddings of nodes by
aggregating the information of their neighbors layer by layer. However, the
high computational and memory cost of GCNs due to the recursive neighborhood
expansion across GCN layers makes it infeasible for training on large graphs.
To tackle this issue, several sampling methods during the process of
information aggregation have been proposed to train GCNs in a mini-batch
Stochastic Gradient Descent (SGD) manner. Nevertheless, these sampling
strategies sometimes bring concerns about insufficient information collection,
which may hinder the learning performance in terms of accuracy and convergence.
To tackle the dilemma between accuracy and efficiency, we propose to use
aggregators with different granularities to gather neighborhood information in
different layers. Then, a degree-based sampling strategy, which avoids the
exponential complexity, is constructed for sampling a fixed number of nodes.
Combining the above two mechanisms, the proposed model, named Mix-grained GCN
(MG-GCN) achieves state-of-the-art performance in terms of accuracy, training
speed, convergence speed, and memory cost through a comprehensive set of
experiments on four commonly used benchmark datasets and a new Ethereum
dataset.
- Abstract（参考訳）: グラフ畳み込みネットワーク(gcns)は、近年多くのグラフベースのアプリケーションで重要なツールとして利用されている。
畳み込みニューラルネットワーク(CNN)にインスパイアされたGCNは、隣人層の情報を層ごとに集約することで、ノードの埋め込みを生成する。
しかし,GCN層にまたがる再帰的近傍展開によるGCNの計算・メモリコストの増大は,大規模グラフのトレーニングに有効ではない。
この問題に対処するために,ミニバッチ確率勾配降下(sgd)方式でgcnを訓練するために,情報集約過程におけるいくつかのサンプリング手法が提案されている。
それにもかかわらず、これらのサンプリング戦略は、精度と収束性の観点から学習性能を阻害する可能性がある情報収集不足に関する懸念をもたらすことがある。
精度と効率のジレンマに対処するために,異なる粒度を持つアグリゲータを用いて異なる層に周辺情報を収集することを提案する。
次に, 指数複雑性を回避した次数に基づくサンプリング戦略を構築し, 一定数のノードをサンプリングする。
上記の2つのメカニズムを組み合わせることで、提案モデルであるMix-fine GCN(MG-GCN)は、4つの一般的なベンチマークデータセットと新しいEthereumデータセットに関する包括的な実験を通して、精度、トレーニング速度、収束速度、メモリコストの観点から最先端のパフォーマンスを達成する。
関連論文リスト
- Sparse Decomposition of Graph Neural Networks [20.768412002413843]
本稿では,集約中に含まれるノード数を削減する手法を提案する。
線形変換された特徴の重み付け和を用いてノード表現の近似を学習し、スパース分解によりこれを実現できる。
提案手法は推論高速化のために設計された他のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-10-25T17:52:16Z) - Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳（メタデータ） (2023-10-23T01:25:44Z) - Neighborhood Convolutional Network: A New Paradigm of Graph Neural
Networks for Node Classification [12.062421384484812]
グラフ畳み込みネットワーク(GCN)は、各畳み込み層における近傍の集約と特徴変換を分離する。
本稿では,周辺畳み込みネットワーク(NCN)と呼ばれるGCNの新しいパラダイムを提案する。
このようにして、モデルは、近隣情報を集約するための分離GCNの利点を継承すると同時に、より強力な特徴学習モジュールを開発することができる。
論文 参考訳（メタデータ） (2022-11-15T02:02:51Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Flattened Graph Convolutional Networks For Recommendation [18.198536511983452]
本稿では,既存のモデルに比べて非常に少ない複雑さで優れた性能を達成できるフラット化GCN(FlatGCN)モデルを提案する。
まず,1つの平坦なGCN層を用いて周辺情報を集約する簡易かつ強力なGCNアーキテクチャを提案する。
次に,隣り合うノード間の相関を計測し,最も価値のある隣人を選択するための情報的隣人-infomaxサンプリング手法を提案する。
第3に,最終層に階層的近傍表現を組み立てることで,学習した表現の表現性を向上する層アンサンブル手法を提案する。
論文 参考訳（メタデータ） (2022-09-25T12:53:50Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - Non-Recursive Graph Convolutional Networks [33.459371861932574]
非再帰グラフ畳み込みネットワーク(NRGCN)と呼ばれる新しいアーキテクチャを提案し、GCNのトレーニング効率と学習パフォーマンスの両方を改善します。
NRGCNは、内部層凝集と層非依存サンプリングに基づいて、各ノードの隣人のホップを表す。
このようにして、各ノードは、隣人の各ホップから独立して抽出された情報を連結することで直接表現することができる。
論文 参考訳（メタデータ） (2021-05-09T08:12:18Z) - Towards Efficient Graph Convolutional Networks for Point Cloud Handling [181.59146413326056]
ポイントクラウド上で学習するためのグラフ畳み込みネットワーク(GCN)の計算効率の向上を目指します。
一連の実験により、最適化されたネットワークは計算複雑性を減らし、メモリ消費を減らし、推論速度を加速した。
論文 参考訳（メタデータ） (2021-04-12T17:59:16Z) - Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。
複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。
本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
論文 参考訳（メタデータ） (2020-06-26T17:03:06Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳（メタデータ） (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。