論文の概要: Efficient Heterogeneous Graph Learning via Random Projection
- arxiv url: http://arxiv.org/abs/2310.14481v1
- Date: Mon, 23 Oct 2023 01:25:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 23:19:45.194828
- Title: Efficient Heterogeneous Graph Learning via Random Projection
- Title（参考訳）: ランダム投影による効率のよい不均一グラフ学習
- Authors: Jun Hu, Bryan Hooi, Bingsheng He
- Abstract要約: 不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
- 参考スコア（独自算出の注目度）: 65.65132884606072
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Heterogeneous Graph Neural Networks (HGNNs) are powerful tools for deep
learning on heterogeneous graphs. Typical HGNNs require repetitive message
passing during training, limiting efficiency for large-scale real-world graphs.
Recent pre-computation-based HGNNs use one-time message passing to transform a
heterogeneous graph into regular-shaped tensors, enabling efficient mini-batch
training. Existing pre-computation-based HGNNs can be mainly categorized into
two styles, which differ in how much information loss is allowed and
efficiency. We propose a hybrid pre-computation-based HGNN, named Random
Projection Heterogeneous Graph Neural Network (RpHGNN), which combines the
benefits of one style's efficiency with the low information loss of the other
style. To achieve efficiency, the main framework of RpHGNN consists of
propagate-then-update iterations, where we introduce a Random Projection
Squashing step to ensure that complexity increases only linearly. To achieve
low information loss, we introduce a Relation-wise Neighbor Collection
component with an Even-odd Propagation Scheme, which aims to collect
information from neighbors in a finer-grained way. Experimental results
indicate that our approach achieves state-of-the-art results on seven small and
large benchmark datasets while also being 230% faster compared to the most
effective baseline. Surprisingly, our approach not only surpasses
pre-processing-based baselines but also outperforms end-to-end methods.
- Abstract（参考訳）: 不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
典型的なHGNNは、トレーニング中に繰り返しメッセージパッシングを必要とし、大規模な実世界のグラフの効率を制限する。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して、不均一グラフを正規形テンソルに変換することにより、効率的なミニバッチトレーニングを実現する。
既存の事前計算ベースのHGNNは、主に2つのスタイルに分類される。
本稿では,Random Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド事前計算型HGNNを提案する。
RpHGNNの主なフレームワークはプロパゲートの更新イテレーションで構成されており、Random Projection Squashing ステップを導入し、複雑性が線形に増加することを保証する。
低情報損失を実現するために,よりきめ細かな方法で隣人からの情報を収集することを目的としたEven-odd Propagation Schemeを用いたRelation-wise Neighbor Collectionコンポーネントを導入する。
実験結果から,本手法は7つの小規模および大規模ベンチマークデータセットに対して最先端の結果が得られる一方で,最も有効なベースラインに比べて230%高速であることがわかった。
驚くべきことに、私たちのアプローチは前処理ベースのベースラインを超えるだけでなく、エンドツーエンドメソッドよりも優れています。
関連論文リスト
- Faster Inference Time for GNNs using coarsening [1.323700980948722]
粗い手法はグラフを小さくするために使われ、計算が高速化される。
これまでの調査では、推論中にコストに対処できなかった。
本稿では, サブグラフベース手法によるGNNのスケーラビリティ向上のための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-10-19T06:27:24Z) - Haste Makes Waste: A Simple Approach for Scaling Graph Neural Networks [37.41604955004456]
グラフニューラルネットワーク(GNN)はグラフ表現学習において顕著な成功を収めている。
GNNを大規模グラフのアプリケーションに拡張するための様々なサンプリング手法が提案されている。
論文 参考訳（メタデータ） (2024-10-07T18:29:02Z) - Enhanced Expressivity in Graph Neural Networks with Lanczos-Based Linear Constraints [7.605749412696919]
グラフニューラルネットワーク(GNN)はグラフ構造化データの処理に優れるが、リンク予測タスクでは性能が劣ることが多い。
グラフラプラシア行列の固有基底に誘導された部分グラフを埋め込むことによりGNNの表現性を高める新しい手法を提案する。
提案手法は,PubMedとOGBL-Vesselのデータセットから,5%と10%のデータしか必要とせず,20倍と10倍の高速化を実現する。
論文 参考訳（メタデータ） (2024-08-22T12:22:00Z) - Learning to Reweight for Graph Neural Network [63.978102332612906]
グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。
既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。
本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
論文 参考訳（メタデータ） (2023-12-19T12:25:10Z) - SCARA: Scalable Graph Neural Networks with Feature-Oriented Optimization [23.609017952951454]
グラフ計算のための特徴指向最適化を備えたスケーラブルグラフニューラルネットワーク(GNN)であるSCARAを提案する。
SCARAはノードの特徴からグラフの埋め込みを効率的に計算し、機能の結果を選択して再利用することでオーバーヘッドを減らします。
利用可能な最大10億のGNNデータセットであるPapers100M(1110万ノード、1.6Bエッジ)を100秒でプリ計算するのが効率的である。
論文 参考訳（メタデータ） (2022-07-19T10:32:11Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。
また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文 参考訳（メタデータ） (2022-05-06T03:37:00Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - Combining Label Propagation and Simple Models Out-performs Graph Neural
Networks [52.121819834353865]
多くの標準的なトランスダクティブノード分類ベンチマークでは、最先端のGNNの性能を超えたり、一致させることができる。
これをC&S(Correct and Smooth)と呼ぶ。
我々のアプローチは、様々なベンチマークで最先端のGNNの性能を上回るか、ほぼ一致している。
論文 参考訳（メタデータ） (2020-10-27T02:10:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。