論文の概要: Distinguished In Uniform: Self Attention Vs. Virtual Nodes

• arxiv url: http://arxiv.org/abs/2405.11951v1
• Date: Mon, 20 May 2024 11:02:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 13:24:44.732273
• Title: Distinguished In Uniform: Self Attention Vs. Virtual Nodes
• Title（参考訳）: 独特な:セルフアテンションVs.仮想ノード
• Authors: Eran Rosenbluth, Jan Tönshoff, Martin Ritzert, Berke Kisin, Martin Grohe,
• Abstract要約: SANやGPSのようなグラフ変換器(GT)はグラフ処理モデルである。 彼らはMessage-Passing GNN(MPGNN)とグローバルセルフアテンションを組み合わせた。 それらは2つの予約を持つ普遍関数近似器であることが示されている。
• 参考スコア（独自算出の注目度）: 3.9945675027960634
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Graph Transformers (GTs) such as SAN and GPS are graph processing models that combine Message-Passing GNNs (MPGNNs) with global Self-Attention. They were shown to be universal function approximators, with two reservations: 1. The initial node features must be augmented with certain positional encodings. 2. The approximation is non-uniform: Graphs of different sizes may require a different approximating network. We first clarify that this form of universality is not unique to GTs: Using the same positional encodings, also pure MPGNNs and even 2-layer MLPs are non-uniform universal approximators. We then consider uniform expressivity: The target function is to be approximated by a single network for graphs of all sizes. There, we compare GTs to the more efficient MPGNN + Virtual Node architecture. The essential difference between the two model definitions is in their global computation method -- Self-Attention Vs Virtual Node. We prove that none of the models is a uniform-universal approximator, before proving our main result: Neither model's uniform expressivity subsumes the other's. We demonstrate the theory with experiments on synthetic data. We further augment our study with real-world datasets, observing mixed results which indicate no clear ranking in practice as well.
• Abstract（参考訳）: SANやGPSなどのグラフトランスフォーマー(GT)は、メッセージパッシングGNN(MPGNN)とグローバルセルフアテンションを組み合わせたグラフ処理モデルである。 これらは普遍関数近似器であることが示され、2つの予約がなされた。 1. 初期ノード機能は、特定の位置エンコーディングで拡張されなければならない。 2. 近似は非一様である: 異なる大きさのグラフは異なる近似ネットワークを必要とするかもしれない。 同じ位置エンコーディング、純粋なMPGNN、さらには2層MLPでさえも一様でない普遍近似器である。 対象関数は、すべての大きさのグラフの1つのネットワークによって近似される。 そこで、GTとより効率的なMPGNN + Virtual Nodeアーキテクチャを比較します。 2つのモデル定義の主な違いは、そのグローバルな計算方法であるSelf-Attention Vs Virtual Nodeである。 いずれのモデルも、主要な結果を証明する前に、一様ユニバーサル近似子ではないことを証明している。 合成データに関する実験でその理論を実証する。 さらに、実世界のデータセットを用いて研究を拡大し、実際の明確なランキングも示さない混合結果を観察します。

関連論文リスト

• The Heterophilic Snowflake Hypothesis: Training and Empowering GNNs for Heterophilic Graphs [59.03660013787925]
  ヘテロフィリー・スノーフレーク仮説を導入し、ヘテロ親和性グラフの研究をガイドし、促進するための効果的なソリューションを提供する。 観察の結果,我々のフレームワークは多種多様なタスクのための多目的演算子として機能することがわかった。 さまざまなGNNフレームワークに統合することができ、パフォーマンスを詳細に向上し、最適なネットワーク深さを選択するための説明可能なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-06-18T12:16:00Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• GPatcher: A Simple and Adaptive MLP Model for Alleviating Graph Heterophily [15.93465948768545]
  グラフニューラルネットワーク(GNN)フィルタにおけるグラフヘテロフィリーの影響を解明する。 我々は,パッチ・ミクサーアーキテクチャを利用したGPatcherというシンプルで強力なGNNを提案する。 本モデルでは, ノード分類において, 人気ホモフィリーGNNや最先端ヘテロフィリーGNNと比較して, 優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-25T20:57:35Z)
• A Simple and Scalable Graph Neural Network for Large Directed Graphs [11.792826520370774]
  入力グラフ内のノード表現とエッジ方向認識の様々な組み合わせについて検討する。 そこで本研究では,A2DUGを簡易かつ包括的に分類する手法を提案する。 我々は、A2DUGが様々なデータセットで安定して動作し、最先端の手法と比較して11.29まで精度が向上することを示した。
  論文  参考訳（メタデータ） (2023-06-14T06:24:58Z)
• Self-attention Dual Embedding for Graphs with Heterophily [6.803108335002346]
  多くの実世界のグラフはヘテロ親和性があり、標準のGNNを用いた分類精度ははるかに低い。 ヘテロ親和性グラフとホモ親和性グラフの両方に有効である新しいGNNを設計する。 我々は,数千から数百万のノードを含む実世界のグラフ上でアルゴリズムを評価し,最先端の結果が得られたことを示す。
  論文  参考訳（メタデータ） (2023-05-28T09:38:28Z)
• Seq-HGNN: Learning Sequential Node Representation on Heterogeneous Graph [57.2953563124339]
  本稿では,シーケンシャルノード表現,すなわちSeq-HGNNを用いた新しい異種グラフニューラルネットワークを提案する。 Heterogeneous Graph Benchmark (HGB) と Open Graph Benchmark (OGB) の4つの広く使われているデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T07:27:18Z)
• Beyond Low-Pass Filters: Adaptive Feature Propagation on Graphs [6.018995094882323]
  グラフニューラルネットワーク(GNN)は、グラフ上の予測タスクのために広く研究されている。 ほとんどのGNNは、局所的ホモフィリー、すなわち地域住民の強い類似性を仮定している。 基本となるホモフィリーによって制限されることなく、任意のグラフを扱うことができる柔軟なGNNモデルを提案する。
  論文  参考訳（メタデータ） (2021-03-26T00:35:36Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning [63.97983530843762]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。 より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。 本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
  論文  参考訳（メタデータ） (2020-08-31T23:15:40Z)
• Towards Deeper Graph Neural Networks with Differentiable Group Normalization [61.20639338417576]
  グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。 オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。 2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
  論文  参考訳（メタデータ） (2020-06-12T07:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。