論文の概要: Can Transformer and GNN Help Each Other?

• arxiv url: http://arxiv.org/abs/2308.14355v1
• Date: Mon, 28 Aug 2023 07:03:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 15:12:36.338246
• Title: Can Transformer and GNN Help Each Other?
• Title（参考訳）: TransformerとGNNはお互いに助け合うか?
• Authors: Peiyan Zhang, Yuchen Yan, Chaozhuo Li, Senzhang Wang, Xing Xie, Sunghun Kim
• Abstract要約: グラフ表現学習では、グラフニューラルネットワーク(GNN)はグラフ構造とノード属性を融合するが、受容場は限定的である。 そこで我々はTransformer層とGNN層を交互に使用して相互改善を行うTransGNNという新しいモデルを提案する。 8つのデータセットの実験は、ノード分類タスクとグラフ分類タスクにおけるTransGNNの有効性を裏付ける。
• 参考スコア（独自算出の注目度）: 46.508519949169
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although Transformer has achieved great success in natural language process and computer vision, it has difficulty generalizing to medium and large-scale graph data for two important reasons: (i) High complexity. (ii) Failing to capture the complex and entangled structure information. In graph representation learning, Graph Neural Networks(GNNs) can fuse the graph structure and node attributes but have limited receptive fields. Therefore, we question whether can we combine Transformers and GNNs to help each other. In this paper, we propose a new model named TransGNN where the Transformer layer and GNN layer are used alternately to improve each other. Specifically, to expand the receptive field and disentangle the information aggregation from edges, we propose using Transformer to aggregate more relevant nodes' information to improve the message passing of GNNs. Besides, to capture the graph structure information, we utilize positional encoding and make use of the GNN layer to fuse the structure into node attributes, which improves the Transformer in graph data. We also propose to sample the most relevant nodes for Transformer and two efficient samples update strategies to lower the complexity. At last, we theoretically prove that TransGNN is more expressive than GNNs only with extra linear complexity. The experiments on eight datasets corroborate the effectiveness of TransGNN on node and graph classification tasks.
• Abstract（参考訳）: トランスフォーマーは自然言語処理とコンピュータビジョンで大きな成功を収めているが、中規模および大規模グラフデータへの一般化は2つの重要な理由から困難である。 (i)複雑度が高い。 (ii)複雑で絡み合った構造情報を捉えられないこと。 グラフ表現学習では、グラフニューラルネットワーク(GNN)はグラフ構造とノード属性を融合するが、受容場は限定的である。 そこで我々は,TransformerとGNNを組み合わせることで相互に助け合うことができるのか疑問を呈する。 本稿では,トランスフォーマー層とgnn層を交互に利用し,相互に改良を行う新しいモデルであるtransgnnを提案する。 具体的には,レセプティブフィールドを拡張し,エッジから情報アグリゲーションを分離するために,より関連するノードの情報を集約してgnnのメッセージパッシングを改善するトランスフォーマを提案する。 さらに、グラフ構造情報をキャプチャするために、位置符号化とGNN層を利用して、構造をノード属性に融合させ、グラフデータのトランスフォーマーを改善する。 また、Transformerの最も関連性の高いノードをサンプリングし、複雑さを低減するために2つの効率的なサンプル更新戦略を提案する。 最終的に、理論上、TransGNNは余分な線形複雑性を持つGNNよりも表現力が高いことを証明した。 8つのデータセットの実験は、ノード分類タスクとグラフ分類タスクにおけるTransGNNの有効性を裏付けるものである。

関連論文リスト

• TANGNN: a Concise, Scalable and Effective Graph Neural Networks with Top-m Attention Mechanism for Graph Representation Learning [7.879217146851148]
  本稿では,Top-mアテンション機構アグリゲーションコンポーネントと近傍アグリゲーションコンポーネントを統合した,革新的なグラフニューラルネットワーク(GNN)アーキテクチャを提案する。 提案手法の有効性を評価するため,提案手法をGNN分野において未探索の新たな課題である引用感情予測に適用した。
  論文  参考訳（メタデータ） (2024-11-23T05:31:25Z)
• DGNN: Decoupled Graph Neural Networks with Structural Consistency between Attribute and Graph Embedding Representations [62.04558318166396]
  グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。 ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。 複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
  論文  参考訳（メタデータ） (2024-01-28T06:43:13Z)
• GGNNs : Generalizing GNNs using Residual Connections and Weighted Message Passing [0.0]
  GNNはグラフ内の関係やパターンを捕捉し、効果的な学習と予測タスクを可能にする。 GNNの一般化力は、層間のメッセージパッシング機構に起因すると一般的に信じられている。 提案手法は,各ノードにアキュミュレートする前にメッセージを重み付けし,Residual接続を追加することによって,メッセージパッシング機構をさらに改良する。
  論文  参考訳（メタデータ） (2023-11-26T22:22:38Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• Spiking Variational Graph Auto-Encoders for Efficient Graph Representation Learning [10.65760757021534]
  本稿では,効率的なグラフ表現学習のためのSNNに基づく深層生成手法,すなわちSpking Variational Graph Auto-Encoders (S-VGAE)を提案する。 我々は,複数のベンチマークグラフデータセット上でリンク予測実験を行い,この結果から,グラフ表現学習における他のANNやSNNに匹敵する性能で,より少ないエネルギーを消費することを示した。
  論文  参考訳（メタデータ） (2022-10-24T12:54:41Z)
• Relation Embedding based Graph Neural Networks for Handling Heterogeneous Graph [58.99478502486377]
  我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。 具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
  論文  参考訳（メタデータ） (2022-09-23T05:24:18Z)
• Enhance Information Propagation for Graph Neural Network by Heterogeneous Aggregations [7.3136594018091134]
  グラフニューラルネットワークは、ディープラーニングの成功の継続として出現している。 ヘテロジニアスアグリゲーションを組み合わせることで,GNN層間の情報伝達を促進することを提案する。 我々は,多くのグラフ分類ベンチマークにおいて,HAG-Netの有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2021-02-08T08:57:56Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Graph Neural Networks: Architectures, Stability and Transferability [176.3960927323358]
  グラフニューラルネットワーク(GNN)は、グラフでサポートされている信号のための情報処理アーキテクチャである。 これらは、個々の層がグラフ畳み込みフィルタのバンクを含む畳み込みニューラルネットワーク(CNN)の一般化である。
  論文  参考訳（メタデータ） (2020-08-04T18:57:36Z)
• Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
  グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。 複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。 本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。