論文の概要: Rethinking Efficiency and Redundancy in Training Large-scale Graphs
- arxiv url: http://arxiv.org/abs/2209.00800v1
- Date: Fri, 2 Sep 2022 03:25:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-05 12:02:58.144282
- Title: Rethinking Efficiency and Redundancy in Training Large-scale Graphs
- Title（参考訳）: 大規模グラフの学習における効率性と冗長性の再考
- Authors: Xin Liu, Xunbin Xiong, Mingyu Yan, Runzhen Xue, Shirui Pan, Xiaochun
Ye, Dongrui Fan
- Abstract要約: 我々は、大規模なグラフに冗長性があり、訓練効率を低下させると主張している。
近年のサンプリングベースのトレーニング手法の進歩にもかかわらず、サンプリングベースのGNNは一般的に冗長性の問題を見落としている。
そこで我々はDropReefを提案し,大規模グラフにおける冗長性を検出およびドロップする。
- 参考スコア（独自算出の注目度）: 26.982614602436655
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale graphs are ubiquitous in real-world scenarios and can be trained
by Graph Neural Networks (GNNs) to generate representation for downstream
tasks. Given the abundant information and complex topology of a large-scale
graph, we argue that redundancy exists in such graphs and will degrade the
training efficiency. Unfortunately, the model scalability severely restricts
the efficiency of training large-scale graphs via vanilla GNNs. Despite recent
advances in sampling-based training methods, sampling-based GNNs generally
overlook the redundancy issue. It still takes intolerable time to train these
models on large-scale graphs. Thereby, we propose to drop redundancy and
improve efficiency of training large-scale graphs with GNNs, by rethinking the
inherent characteristics in a graph.
In this paper, we pioneer to propose a once-for-all method, termed DropReef,
to drop the redundancy in large-scale graphs. Specifically, we first conduct
preliminary experiments to explore potential redundancy in large-scale graphs.
Next, we present a metric to quantify the neighbor heterophily of all nodes in
a graph. Based on both experimental and theoretical analysis, we reveal the
redundancy in a large-scale graph, i.e., nodes with high neighbor heterophily
and a great number of neighbors. Then, we propose DropReef to detect and drop
the redundancy in large-scale graphs once and for all, helping reduce the
training time while ensuring no sacrifice in the model accuracy. To demonstrate
the effectiveness of DropReef, we apply it to recent state-of-the-art
sampling-based GNNs for training large-scale graphs, owing to the high
precision of such models. With DropReef leveraged, the training efficiency of
models can be greatly promoted. DropReef is highly compatible and is offline
performed, benefiting the state-of-the-art sampling-based GNNs in the present
and future to a significant extent.
- Abstract（参考訳）: 大規模グラフは現実世界のシナリオではユビキタスであり、グラフニューラルネットワーク(GNN)によってトレーニングされ、下流タスクの表現を生成する。
大規模グラフの豊富な情報と複雑なトポロジーを考えると、冗長性はそのようなグラフに存在し、トレーニング効率を低下させる。
残念ながら、モデルのスケーラビリティは、バニラGNNによる大規模グラフのトレーニングの効率を著しく制限します。
近年のサンプリングベースのトレーニング手法の進歩にもかかわらず、サンプリングベースのGNNは一般的に冗長性の問題を見落としている。
これらのモデルを大規模グラフ上でトレーニングするには、依然として耐え難い時間がかかります。
そこで本研究では,gnnを用いた大規模グラフの学習における冗長性を低下させ,効率を向上させることを提案する。
本稿では,大規模グラフの冗長性を下げるためにdropreefと呼ばれる1回限りの手法を提案する。
具体的には,まず,大規模グラフにおける潜在的冗長性を調べる予備実験を行う。
次に、グラフ内のすべてのノードの近傍のヘテロフィリを定量化するメトリックを示す。
実験的および理論的解析の両方に基づいて、大規模グラフにおける冗長性、すなわち、高い隣り合うヘテロフィリーと多数の隣人を持つノードを明らかにする。
次に,DropReefを提案することで,大規模グラフの冗長性を検出およびドロップし,モデルの精度を犠牲にすることなくトレーニング時間を短縮する。
そこで,DropReef の有効性を実証するために,大規模グラフのトレーニングに最先端のサンプリングベース GNN に適用した。
DropReefを利用すると、モデルのトレーニング効率が大幅に向上する。
DropReefは互換性が高く、オフラインで実行されており、現在と将来において最先端のサンプリングベースのGNNの恩恵を受けている。
関連論文リスト
- Stealing Training Graphs from Graph Neural Networks [54.52392250297907]
グラフニューラルネットワーク(GNN)は、様々なタスクにおけるグラフのモデリングにおいて有望な結果を示している。
ニューラルネットワークがトレーニングサンプルを記憶できるため、GNNのモデルパラメータはプライベートトレーニングデータをリークするリスクが高い。
訓練されたGNNからグラフを盗むという新しい問題について検討する。
論文 参考訳（メタデータ） (2024-11-17T23:15:36Z) - Faster Inference Time for GNNs using coarsening [1.323700980948722]
粗い手法はグラフを小さくするために使われ、計算が高速化される。
これまでの調査では、推論中にコストに対処できなかった。
本稿では, サブグラフベース手法によるGNNのスケーラビリティ向上のための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-10-19T06:27:24Z) - Do We Really Need Graph Convolution During Training? Light Post-Training Graph-ODE for Efficient Recommendation [34.93725892725111]
トレーニングレコメンデータシステム(RecSys)におけるグラフ畳み込みネットワーク(GCNs)は、絶え間なく懸念されてきた。
本稿では,学習段階におけるグラフ畳み込みの必要性を批判的に考察する。
光後学習グラフ正規分方程式(LightGODE)という革新的な方法を導入する。
論文 参考訳（メタデータ） (2024-07-26T17:59:32Z) - Enhancing Size Generalization in Graph Neural Networks through Disentangled Representation Learning [7.448831299106425]
DISGENは、グラフ表現からサイズ因子をアンタングルするために設計された、モデルに依存しないフレームワークである。
実験の結果, DISGENは実世界のデータセットにおいて, 最先端のモデルよりも最大6%優れていた。
論文 参考訳（メタデータ） (2024-06-07T03:19:24Z) - Graph Unlearning with Efficient Partial Retraining [28.433619085748447]
グラフニューラルネットワーク(GNN)は、様々な現実世界のアプリケーションで顕著な成功を収めている。
GNNは、望ましくないグラフデータに基づいてトレーニングされ、パフォーマンスと信頼性を低下させることができる。
学習不能なGNNのモデルユーティリティをよりよく維持するグラフアンラーニングフレームワークであるGraphRevokerを提案する。
論文 参考訳（メタデータ） (2024-03-12T06:22:10Z) - Learning to Reweight for Graph Neural Network [63.978102332612906]
グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。
既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。
本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
論文 参考訳（メタデータ） (2023-12-19T12:25:10Z) - Fast and Effective GNN Training with Linearized Random Spanning Trees [20.73637495151938]
ノード分類タスクにおいて,GNNをトレーニングするための,より効果的でスケーラブルなフレームワークを提案する。
提案手法は, ランダムに分布する木々の広範囲に分布するGNN重みを徐々に改善する。
これらの経路グラフのスパース性は、GNN訓練の計算負担を大幅に軽減する。
論文 参考訳（メタデータ） (2023-06-07T23:12:42Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - Scaling R-GCN Training with Graph Summarization [71.06855946732296]
リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。
本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。
AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
論文 参考訳（メタデータ） (2022-03-05T00:28:43Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - OOD-GNN: Out-of-Distribution Generalized Graph Neural Network [73.67049248445277]
グラフニューラルネットワーク(GNN)は、グラフデータのテストとトレーニングを同一の分布から行うことで、優れたパフォーマンスを実現している。
既存のGNNでは、テストとグラフデータのトレーニングの間に分散シフトが存在する場合、その性能が著しく低下する。
本稿では,学習グラフと異なる分布を持つ未確認試験グラフに対して,満足な性能を実現するために,アウト・オブ・ディストリビューション一般化グラフニューラルネットワーク(OOD-GNN)を提案する。
論文 参考訳（メタデータ） (2021-12-07T16:29:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。