論文の概要: Rewiring with Positional Encodings for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2201.12674v1
• Date: Sat, 29 Jan 2022 22:26:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-03 09:01:13.062233
• Title: Rewiring with Positional Encodings for Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークのための位置エンコーディングによるリライト
• Authors: Rickard Br\"uel-Gabrielsson, Mikhail Yurochkin, Justin Solomon
• Abstract要約: いくつかの最近の研究は、注意機構を備えたグラフニューラルネットワーク層の受容場を拡張するために位置符号化を使用している。 我々は位置エンコーディングを用いて受容場を任意のrリングに拡張する。 提案手法では,入力グラフにノード/エッジを追加し,ノードおよびエッジの特徴として位置エンコーディングを用いる。
• 参考スコア（独自算出の注目度）: 52.88588312088403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Several recent works use positional encodings to extend the receptive fields of graph neural network (GNN) layers equipped with attention mechanisms. These techniques, however, extend receptive fields to the complete graph, at substantial computational cost and risking a change in the inductive biases of conventional GNNs, or require complex architecture adjustments. As a conservative alternative, we use positional encodings to expand receptive fields to any r-ring. Our method augments the input graph with additional nodes/edges and uses positional encodings as node and/or edge features. Thus, it is compatible with many existing GNN architectures. We also provide examples of positional encodings that are non-invasive, i.e., there is a one-to-one map between the original and the modified graphs. Our experiments demonstrate that extending receptive fields via positional encodings and a virtual fully-connected node significantly improves GNN performance and alleviates over-squashing using small r. We obtain improvements across models, showing state-of-the-art performance even using older architectures than recent Transformer models adapted to graphs.
• Abstract（参考訳）: いくつかの最近の研究は、注意機構を備えたグラフニューラルネットワーク(GNN)層の受容場を拡張するために位置符号化を使用している。 しかしながら、これらの手法は受容場を完全なグラフに拡張し、かなりの計算コストをかけて従来のgnnの帰納バイアスの変化を危険にさらすか、複雑なアーキテクチャの調整を必要とする。 保存的な代替として、任意のrリングに受容場を広げるために位置符号化を用いる。 提案手法では,入力グラフにノード/エッジを追加し,ノードおよびエッジの特徴として位置エンコーディングを用いる。 したがって、既存の多くのGNNアーキテクチャと互換性がある。 また、非侵襲的な位置符号化の例として、原グラフと修正グラフの間に1対1の写像が存在する。 実験により、位置エンコーディングと仮想完全接続ノードによる受容場の拡張は、GNNの性能を大幅に改善し、小さなrを用いてオーバーカッシングを緩和することを示した。 我々は,最新のTransformerモデルよりも古いアーキテクチャを用いても,最先端の性能を示すことによって,モデル間の改善を実現する。

関連論文リスト

• Spatio-Spectral Graph Neural Networks [50.277959544420455]
  比スペクトルグラフネットワーク(S$2$GNN)を提案する。 S$2$GNNは空間的およびスペクトル的にパラメータ化されたグラフフィルタを組み合わせる。 S$2$GNNsは、MPGNNsよりも厳密な近似理論誤差境界を生じる。
  論文  参考訳（メタデータ） (2024-05-29T14:28:08Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• Recurrent Distance Filtering for Graph Representation Learning [34.761926988427284]
  反復的なワンホップメッセージパッシングに基づくグラフニューラルネットワークは、遠方のノードからの情報を効果的に活用するのに苦労していることが示されている。 これらの課題を解決するための新しいアーキテクチャを提案する。 我々のモデルは、ターゲットへの最短距離で他のノードを集約し、線形RNNを用いてホップ表現のシーケンスを符号化する。
  論文  参考訳（メタデータ） (2023-12-03T23:36:16Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
  グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。 我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
  論文  参考訳（メタデータ） (2022-10-27T16:00:45Z)
• Graph Neural Networks with Learnable Structural and Positional Representations [83.24058411666483]
  任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。 ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。 両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
  論文  参考訳（メタデータ） (2021-10-15T05:59:15Z)
• AdaGNN: A multi-modal latent representation meta-learner for GNNs based on AdaBoosting [0.38073142980733]
  グラフニューラルネットワーク(GNN)は、固有のネットワーク機能の抽出に重点を置いている。 GNNのための強化型メタラーナを提案する。 AdaGNNは、リッチで多様なノード近傍情報を持つアプリケーションに対して非常によく機能する。
  論文  参考訳（メタデータ） (2021-08-14T03:07:26Z)
• Graph Attention Networks with Positional Embeddings [7.552100672006174]
  グラフニューラルネットワーク(GNN)は、ノード分類タスクにおける芸術的パフォーマンスの現在の状態を提供するディープラーニング手法である。 本論文では,GATを位置埋め込みで強化するフレームワークであるG Graph Attentional Networks with Positional Embeddings(GAT-POS)を提案する。 GAT-POSは、強いGNNベースラインや、非ホモフィルグラフ上の最近の構造埋め込み強化GNNと比較して著しく改善されている。
  論文  参考訳（メタデータ） (2021-05-09T22:13:46Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Self-Enhanced GNN: Improving Graph Neural Networks Using Model Outputs [20.197085398581397]
  グラフニューラルネットワーク(GNN)は最近、グラフベースのタスクにおける優れたパフォーマンスのために、多くの注目を集めている。 本稿では,既存のGNNモデルの出力を用いて,入力データの品質を向上させる自己強化型GNN(SEG)を提案する。 SEGは、GCN、GAT、SGCといったよく知られたGNNモデルのさまざまなデータセットのパフォーマンスを一貫して改善する。
  論文  参考訳（メタデータ） (2020-02-18T12:27:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。