論文の概要: Rewiring with Positional Encodings for Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2201.12674v4
- Date: Wed, 13 Dec 2023 13:18:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-14 21:27:25.570468
- Title: Rewiring with Positional Encodings for Graph Neural Networks
- Title（参考訳）: グラフニューラルネットワークのための位置エンコーディングによるリライト
- Authors: Rickard Br\"uel-Gabrielsson, Mikhail Yurochkin, Justin Solomon
- Abstract要約: いくつかの最近の研究は、注意機構を備えたグラフニューラルネットワーク層の受容場を拡張するために位置符号化を使用している。
位置エンコーディングを用いて、受容場を$r$ホップ地区に拡張する。
各種モデルやデータセットの改良や,従来のGNNやグラフトランスフォーマーによる競争性能の向上を実現しています。
- 参考スコア（独自算出の注目度）: 37.394229290996364
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Several recent works use positional encodings to extend the receptive fields
of graph neural network (GNN) layers equipped with attention mechanisms. These
techniques, however, extend receptive fields to the complete graph, at
substantial computational cost and risking a change in the inductive biases of
conventional GNNs, or require complex architecture adjustments. As a
conservative alternative, we use positional encodings to expand receptive
fields to $r$-hop neighborhoods. More specifically, our method augments the
input graph with additional nodes/edges and uses positional encodings as node
and/or edge features. We thus modify graphs before inputting them to a
downstream GNN model, instead of modifying the model itself. This makes our
method model-agnostic, i.e., compatible with any of the existing GNN
architectures. We also provide examples of positional encodings that are
lossless with a one-to-one map between the original and the modified graphs. We
demonstrate that extending receptive fields via positional encodings and a
virtual fully-connected node significantly improves GNN performance and
alleviates over-squashing using small $r$. We obtain improvements on a variety
of models and datasets and reach competitive performance using traditional GNNs
or graph Transformers.
- Abstract（参考訳）: いくつかの最近の研究は、注意機構を備えたグラフニューラルネットワーク(GNN)層の受容場を拡張するために位置符号化を使用している。
しかしながら、これらの手法は受容場を完全なグラフに拡張し、かなりの計算コストをかけて従来のgnnの帰納バイアスの変化を危険にさらすか、複雑なアーキテクチャの調整を必要とする。
保守的な代替手段として、位置エンコーディングを用いて受容場を$r$ホップ地区に拡張する。
具体的には、入力グラフにノード/エッジを追加し、ノードやエッジの特徴として位置エンコーディングを使用する。
したがって、モデル自体を変更する代わりに、下流のGNNモデルにグラフを入力する前にグラフを変更します。
これにより、我々のメソッドは既存のGNNアーキテクチャのどれとも互換性がない。
また、元のグラフと修正されたグラフの間の1対1のマップでロスレスな位置符号化の例も提供する。
位置エンコーディングと仮想完全接続ノードによる受容フィールドの拡張はgnnの性能を大幅に向上させ,小額の$r$でオーバースワッシングを緩和する。
各種モデルやデータセットの改良や,従来のGNNやグラフトランスフォーマーによる競争性能の向上を実現しています。
関連論文リスト
- Spatio-Spectral Graph Neural Networks [50.277959544420455]
比スペクトルグラフネットワーク(S$2$GNN)を提案する。
S$2$GNNは空間的およびスペクトル的にパラメータ化されたグラフフィルタを組み合わせる。
S$2$GNNsは、MPGNNsよりも厳密な近似理論誤差境界を生じる。
論文 参考訳（メタデータ） (2024-05-29T14:28:08Z) - Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。
このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
論文 参考訳（メタデータ） (2023-12-16T14:09:23Z) - Recurrent Distance Filtering for Graph Representation Learning [34.761926988427284]
反復的なワンホップメッセージパッシングに基づくグラフニューラルネットワークは、遠方のノードからの情報を効果的に活用するのに苦労していることが示されている。
これらの課題を解決するための新しいアーキテクチャを提案する。
我々のモデルは、ターゲットへの最短距離で他のノードを集約し、線形RNNを用いてホップ表現のシーケンスを符号化する。
論文 参考訳（メタデータ） (2023-12-03T23:36:16Z) - T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。
実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文 参考訳（メタデータ） (2023-10-05T02:58:29Z) - Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。
我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
論文 参考訳（メタデータ） (2022-10-27T16:00:45Z) - Graph Neural Networks with Learnable Structural and Positional
Representations [83.24058411666483]
任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。
ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。
両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
論文 参考訳（メタデータ） (2021-10-15T05:59:15Z) - AdaGNN: A multi-modal latent representation meta-learner for GNNs based
on AdaBoosting [0.38073142980733]
グラフニューラルネットワーク(GNN)は、固有のネットワーク機能の抽出に重点を置いている。
GNNのための強化型メタラーナを提案する。
AdaGNNは、リッチで多様なノード近傍情報を持つアプリケーションに対して非常によく機能する。
論文 参考訳（メタデータ） (2021-08-14T03:07:26Z) - Graph Attention Networks with Positional Embeddings [7.552100672006174]
グラフニューラルネットワーク(GNN)は、ノード分類タスクにおける芸術的パフォーマンスの現在の状態を提供するディープラーニング手法である。
本論文では,GATを位置埋め込みで強化するフレームワークであるG Graph Attentional Networks with Positional Embeddings(GAT-POS)を提案する。
GAT-POSは、強いGNNベースラインや、非ホモフィルグラフ上の最近の構造埋め込み強化GNNと比較して著しく改善されている。
論文 参考訳（メタデータ） (2021-05-09T22:13:46Z) - A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。
本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。
UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
論文 参考訳（メタデータ） (2020-10-05T04:57:18Z) - Self-Enhanced GNN: Improving Graph Neural Networks Using Model Outputs [20.197085398581397]
グラフニューラルネットワーク(GNN)は最近、グラフベースのタスクにおける優れたパフォーマンスのために、多くの注目を集めている。
本稿では,既存のGNNモデルの出力を用いて,入力データの品質を向上させる自己強化型GNN(SEG)を提案する。
SEGは、GCN、GAT、SGCといったよく知られたGNNモデルのさまざまなデータセットのパフォーマンスを一貫して改善する。
論文 参考訳（メタデータ） (2020-02-18T12:27:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。