論文の概要: Representing Long-Range Context for Graph Neural Networks with Global Attention

• arxiv url: http://arxiv.org/abs/2201.08821v1
• Date: Fri, 21 Jan 2022 18:16:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-24 14:22:47.153352
• Title: Representing Long-Range Context for Graph Neural Networks with Global Attention
• Title（参考訳）: グローバルアテンションを持つグラフニューラルネットワークにおけるロングランジコンテキストの表現
• Authors: Zhanghao Wu, Paras Jain, Matthew A. Wright, Azalia Mirhoseini, Joseph E. Gonzalez, Ion Stoica
• Abstract要約: 本稿では,トランスフォーマーに基づく自己認識を用いて,長距離ペア関係の学習を提案する。 提案手法はGraphTransと呼ばれ,標準のGNNモジュールに代えて置換不変なTransformerモジュールを適用している。 その結果,グラフ構造を持たない純粋学習に基づくアプローチは,グラフ上の高レベルな長距離関係を学習するのに適している可能性が示唆された。
• 参考スコア（独自算出の注目度）: 37.212747564546156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks are powerful architectures for structured datasets. However, current methods struggle to represent long-range dependencies. Scaling the depth or width of GNNs is insufficient to broaden receptive fields as larger GNNs encounter optimization instabilities such as vanishing gradients and representation oversmoothing, while pooling-based approaches have yet to become as universally useful as in computer vision. In this work, we propose the use of Transformer-based self-attention to learn long-range pairwise relationships, with a novel "readout" mechanism to obtain a global graph embedding. Inspired by recent computer vision results that find position-invariant attention performant in learning long-range relationships, our method, which we call GraphTrans, applies a permutation-invariant Transformer module after a standard GNN module. This simple architecture leads to state-of-the-art results on several graph classification tasks, outperforming methods that explicitly encode graph structure. Our results suggest that purely-learning-based approaches without graph structure may be suitable for learning high-level, long-range relationships on graphs. Code for GraphTrans is available at https://github.com/ucbrise/graphtrans.
• Abstract（参考訳）: グラフニューラルネットワークは構造化データセットの強力なアーキテクチャである。 しかし、現在のメソッドは長距離依存を表現するのに苦労している。 GNNの深さや幅のスケーリングは、大きなGNNが勾配の消失や表現の平滑化といった最適化上の不安定さに遭遇するにつれて、受容界を広げるには不十分である。 本稿では,大域グラフ埋め込みを得るための新しい「読み出し」機構を用いて,長距離対関係を学習するためのトランスフォーマティブに基づく自己照準法を提案する。 近年のコンピュータビジョンの結果に触発されて長距離関係の学習において位置不変注意性能が向上し,本手法はgraphtransと呼ばれ,標準gnnモジュールの後に置換不変トランスフォーマモジュールを適用する。 この単純なアーキテクチャは、グラフ構造を明示的に符号化するいくつかのグラフ分類タスクにおいて、最先端の結果をもたらす。 その結果,グラフ構造を持たない純粋学習に基づくアプローチは,グラフ上の高レベルな長距離関係を学習するのに適している可能性が示唆された。 graphtransのコードはhttps://github.com/ucbrise/graphtransで入手できる。

関連論文リスト

• Improving Graph Neural Networks by Learning Continuous Edge Directions [0.0]
  グラフニューラルネットワーク(GNN)は、従来、非指向グラフ上の拡散に似たメッセージパッシング機構を採用している。 私たちのキーとなる洞察は、ファジィエッジ方向をグラフのエッジに割り当てることです。 ファジィエッジを持つグラフを学習するためのフレームワークとして,Continuous Edge Direction (CoED) GNNを提案する。
  論文  参考訳（メタデータ） (2024-10-18T01:34:35Z)
• Learning Adaptive Neighborhoods for Graph Neural Networks [45.94778766867247]
  グラフ畳み込みネットワーク(GCN)は、グラフ構造化データのエンドツーエンド学習を可能にする。 本稿では,グラフトポロジを構築する新しいエンドツーエンドの微分可能なグラフ生成器を提案する。 私たちのモジュールは、グラフ畳み込み操作を含む既存のパイプラインに簡単に統合できます。
  論文  参考訳（メタデータ） (2023-07-18T08:37:25Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Search to Capture Long-range Dependency with Stacking GNNs for Graph Classification [41.84399177525008]
  浅いGNNは、より深いGNNに直面しているよく知られたオーバースムースな問題のため、より一般的である。 LRGNN(Long-Range Graph Neural Networks)と呼ばれるニューラルアーキテクチャサーチ(NAS)による新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-02-17T03:40:17Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• Analyzing the Performance of Graph Neural Networks with Pipe Parallelism [2.269587850533721]
  ノードやエッジの分類やリンクの予測といったタスクで大きな成功を収めたグラフニューラルネットワーク(GNN)に注目した。 グラフ技術の進歩には,大規模ネットワーク処理のための新たなアプローチが必要である。 私たちは、ディープラーニングコミュニティで成功したと知られている既存のツールとフレームワークを使用して、GNNを並列化する方法を研究します。
  論文  参考訳（メタデータ） (2020-12-20T04:20:38Z)
• Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。 最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。 本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
  論文  参考訳（メタデータ） (2020-11-19T06:03:35Z)
• Graph Contrastive Learning with Augmentations [109.23158429991298]
  グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。 我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T20:13:43Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。