論文の概要: Asymmetric Learning for Graph Neural Network based Link Prediction

• arxiv url: http://arxiv.org/abs/2303.00170v1
• Date: Wed, 1 Mar 2023 01:48:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-02 16:30:00.485955
• Title: Asymmetric Learning for Graph Neural Network based Link Prediction
• Title（参考訳）: グラフニューラルネットワークを用いたリンク予測のための非対称学習
• Authors: Kai-Lang Yao and Wu-Jun Li
• Abstract要約: リンク予測は、タンパク質とタンパク質の相互作用予測のような多くのグラフベースのアプリケーションにおいて基本的な問題である。 既存のGNNベースのリンク予測(GNN-LP)手法は、大規模グラフのトレーニング中にスケーラビリティの問題に悩まされる。 本稿では,まず既存のGNN-LP手法の複雑性解析を行い,拡張性の問題がそれらの対称学習戦略に起因していることを明らかにする。 GNN-LPのための非対称学習(AML)と呼ばれる新しい手法を提案する。 AMLはノード表現学習のための非対称学習戦略を採用した最初のGNN-LP手法である。
• 参考スコア（独自算出の注目度）: 28.77060504577391
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Link prediction is a fundamental problem in many graph based applications, such as protein-protein interaction prediction. Graph neural network (GNN) has recently been widely used for link prediction. However, existing GNN based link prediction (GNN-LP) methods suffer from scalability problem during training for large-scale graphs, which has received little attention by researchers. In this paper, we first give computation complexity analysis of existing GNN-LP methods, which reveals that the scalability problem stems from their symmetric learning strategy adopting the same class of GNN models to learn representation for both head and tail nodes. Then we propose a novel method, called asymmetric learning (AML), for GNN-LP. The main idea of AML is to adopt a GNN model for learning head node representation while using a multi-layer perceptron (MLP) model for learning tail node representation. Furthermore, AML proposes a row-wise sampling strategy to generate mini-batch for training, which is a necessary component to make the asymmetric learning strategy work for training speedup. To the best of our knowledge, AML is the first GNN-LP method adopting an asymmetric learning strategy for node representation learning. Experiments on three real large-scale datasets show that AML is 1.7X~7.3X faster in training than baselines with a symmetric learning strategy, while having almost no accuracy loss.
• Abstract（参考訳）: リンク予測は、タンパク質とタンパク質の相互作用予測のような多くのグラフベースのアプリケーションにおいて根本的な問題である。 グラフニューラルネットワーク(GNN)はリンク予測に広く利用されている。 しかし、既存のGNNベースのリンク予測(GNN-LP)手法は、大規模グラフのトレーニング中にスケーラビリティの問題に悩まされており、研究者からはほとんど注目されていない。 本稿では, 従来のGNN-LP手法の計算複雑性解析を行い, その拡張性は, 頭部ノードと尾ノードの両方の表現を学習するために, 同じクラスのGNNモデルを採用した対称学習戦略に由来することを示した。 そこで我々は,GNN-LPのための非対称学習法(AML)を提案する。 AMLの主な考え方は、尾ノード表現の学習に多層パーセプトロン(MLP)モデルを使用しながら、ヘッドノード表現の学習にGNNモデルを採用することである。 さらに、AMLは、学習の高速化のために非対称学習戦略を機能させるために必要となる、訓練用のミニバッチを生成する行ワイズサンプリング戦略を提案する。 我々の知る限り、AMLはノード表現学習のための非対称学習戦略を採用した最初のGNN-LP手法である。 3つの実際の大規模データセットの実験では、AMLは対称学習戦略を持つベースラインよりもトレーニングにおいて1.7X~7.3倍高速であり、精度の損失はほとんどない。

関連論文リスト

• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Unlearning Graph Classifiers with Limited Data Resources [39.29148804411811]
  制御されたデータ削除は、データに敏感なWebアプリケーションのための機械学習モデルの重要機能になりつつある。 グラフニューラルネットワーク(GNN)の効率的な機械学習を実現する方法はまだほとんど知られていない。 我々の主な貢献は GST に基づく非線形近似グラフアンラーニング法である。 第2の貢献は、提案した未学習機構の計算複雑性の理論解析である。 第3のコントリビューションは広範囲なシミュレーションの結果であり、削除要求毎のGNNの完全再トレーニングと比較して、新しいGSTベースのアプローチは平均10.38倍のスピードアップを提供する。
  論文  参考訳（メタデータ） (2022-11-06T20:46:50Z)
• MLPInit: Embarrassingly Simple GNN Training Acceleration with MLP Initialization [51.76758674012744]
  大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングするのは複雑で、非常に時間がかかる。 我々は、PeerInitと呼ばれるGNNトレーニングアクセラレーションに対して、恥ずかしく単純だが非常に効果的な方法を提案する。
  論文  参考訳（メタデータ） (2022-09-30T21:33:51Z)
• Tackling Oversmoothing of GNNs with Contrastive Learning [35.88575306925201]
  グラフニューラルネットワーク(GNN)は、グラフデータと表現学習能力の包括的な関係を統合する。 オーバースムーシングはノードの最終的な表現を識別不能にし、ノード分類とリンク予測性能を劣化させる。 本稿では,TGCL(Topology-Guided Graph Contrastive Layer)を提案する。
  論文  参考訳（メタデータ） (2021-10-26T15:56:16Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。