論文の概要: Global Attention Improves Graph Networks Generalization
- arxiv url: http://arxiv.org/abs/2006.07846v2
- Date: Thu, 12 Nov 2020 10:30:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 12:39:47.662608
- Title: Global Attention Improves Graph Networks Generalization
- Title(参考訳): Global Attentionがグラフネットワークの一般化を改善
- Authors: Omri Puny, Heli Ben-Hamu, Yaron Lipman
- Abstract要約: 本稿では,低ランクグローバルアテンション(LRGA)モジュールをグラフニューラルネットワーク(GNN)に導入することを提唱する。
表現型GNNの特定のファミリーに着目し、LRGAで拡張することで、強力なグラフ同型テストへのアルゴリズム的アライメントが得られることを示す。
現実的な観点からは、既存のGNNレイヤをLRGAで拡張することで、現在のGNNベンチマークにおける技術結果の状態を生成できる。
- 参考スコア(独自算出の注目度): 30.134738629447927
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper advocates incorporating a Low-Rank Global Attention (LRGA) module,
a computation and memory efficient variant of the dot-product attention
(Vaswani et al., 2017), to Graph Neural Networks (GNNs) for improving their
generalization power. To theoretically quantify the generalization properties
granted by adding the LRGA module to GNNs, we focus on a specific family of
expressive GNNs and show that augmenting it with LRGA provides algorithmic
alignment to a powerful graph isomorphism test, namely the 2-Folklore
Weisfeiler-Lehman (2-FWL) algorithm. In more detail we: (i) consider the recent
Random Graph Neural Network (RGNN) (Sato et al., 2020) framework and prove that
it is universal in probability; (ii) show that RGNN augmented with LRGA aligns
with 2-FWL update step via polynomial kernels; and (iii) bound the sample
complexity of the kernel's feature map when learned with a randomly initialized
two-layer MLP. From a practical point of view, augmenting existing GNN layers
with LRGA produces state of the art results in current GNN benchmarks. Lastly,
we observe that augmenting various GNN architectures with LRGA often closes the
performance gap between different models.
- Abstract(参考訳): 本稿では,ドット製品アテンション(vaswani et al., 2017)の計算とメモリ効率の優れた変種である低ランクグローバルアテンション(lrga)モジュールをグラフニューラルネットワーク(gnns)に組み込んで一般化能力を向上させることを提唱する。
LRGAモジュールをGNNに追加することで得られる一般化特性を理論的に定量化するために、表現的GNNの特定のファミリーに着目し、LRGAで拡張することで2-Folklore Weisfeiler-Lehman (2-FWL)アルゴリズムという強力なグラフ同型テストへのアルゴリズム的アライメントが得られることを示す。
詳細は以下の通り。
(i)最近のランダムグラフニューラルネットワーク(RGNN)フレームワーク(Sato et al., 2020)を考察し、確率において普遍的であることを示す。
(ii) LRGAを付加したRGNNと多項式カーネルによる2-FWL更新ステップとの整合性を示す。
(iii)ランダムに初期化した2層MLPで学習したカーネルの特徴マップのサンプル複雑性を束縛する。
現実的な観点からは、既存のGNNレイヤをLRGAで拡張することで、現在のGNNベンチマークにおける技術結果の状態を生成できる。
最後に,LRGAによる各種GNNアーキテクチャの拡張が,異なるモデル間の性能ギャップを埋めることがよく見られる。
関連論文リスト
- MAG-GNN: Reinforcement Learning Boosted Graph Neural Network [68.60884768323739]
特定の研究の行は、GNNの表現性を向上させるためにサブグラフ情報を使用するサブグラフGNNを提案し、大きな成功を収めた。
このような効果は、すべての可能な部分グラフを列挙することによって、GNNの効率を犠牲にする。
本稿では,強化学習(RL)により強化されたGNNである磁気グラフニューラルネットワーク(MAG-GNN)を提案する。
論文 参考訳(メタデータ) (2023-10-29T20:32:21Z) - Cached Operator Reordering: A Unified View for Fast GNN Training [24.917363701638607]
グラフニューラルネットワーク(GNN)は、構造化グラフデータを扱う強力なツールであり、ノード分類、グラフ分類、クラスタリングといったタスクに対処する。
しかし、GNN計算のスパース性は、従来のディープニューラルネットワークと比較してパフォーマンス最適化に新たな課題をもたらす。
GNN計算,I/O,メモリの統一的なビューを提供することで,これらの課題に対処する。
論文 参考訳(メタデータ) (2023-08-23T12:27:55Z) - Graph Neural Networks are Inherently Good Generalizers: Insights by
Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。
PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文 参考訳(メタデータ) (2022-12-18T08:17:32Z) - Towards Better Generalization with Flexible Representation of
Multi-Module Graph Neural Networks [0.27195102129094995]
ランダムグラフ生成器を用いて,グラフサイズと構造特性がGNNの予測性能に与える影響について検討する。
本稿では,GNNが未知のグラフに一般化できるかどうかを決定する上で,平均ノード次数が重要な特徴であることを示す。
集約された入力に対して単一の正準非線形変換を一般化することにより、ネットワークが新しいグラフに柔軟に対応可能なマルチモジュールGNNフレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-14T12:13:59Z) - Two-level Graph Neural Network [15.014364222532347]
2レベルGNN(TL-GNN)と呼ばれる新しいGNNフレームワークを提案する。
これは、サブグラフレベル情報とノードレベル情報とをマージする。
実験により、TL-GNNは既存のGNNよりも優れ、最先端のパフォーマンスを達成することが示された。
論文 参考訳(メタデータ) (2022-01-03T02:15:20Z) - From Stars to Subgraphs: Uplifting Any GNN with Local Structure
Awareness [23.279464786779787]
私たちはMPNNをより表現力のあるものにするための一般的なフレームワークを導入します。
私たちのフレームワークは1&2-WLよりも強力で、3WLよりも強力です。
本手法は,いくつかのよく知られたグラフMLタスクに対して,新たな最先端性能を大きなマージンで設定する。
論文 参考訳(メタデータ) (2021-10-07T19:08:08Z) - Learning Graph Neural Networks with Approximate Gradient Descent [24.49427608361397]
ラベルがノードまたはグラフに添付されているかどうかに応じて、2種類のグラフニューラルネットワーク(GNN)が調査されます。
gnnトレーニングアルゴリズムの設計と解析のための包括的なフレームワークを開発した。
提案アルゴリズムは,GNNの根底にある真のパラメータに対する線形収束率を保証する。
論文 参考訳(メタデータ) (2020-12-07T02:54:48Z) - A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。
本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。
UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
論文 参考訳(メタデータ) (2020-10-05T04:57:18Z) - The Surprising Power of Graph Neural Networks with Random Node
Initialization [54.4101931234922]
グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。
標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。
本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。
我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
論文 参考訳(メタデータ) (2020-10-02T19:53:05Z) - Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs [95.63153473559865]
グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。
既存のGNNモデルの多くは浅く、本質的に機能中心である。
我々は,既存の浅いGNNがグラフ構造をよく保存できないことを経験的かつ解析的に示す。
本稿では,グラフ構造保存におけるGNNの能力を高めるプラグインモジュールであるEigen-GNNを提案する。
論文 参考訳(メタデータ) (2020-06-08T02:47:38Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳(メタデータ) (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。