論文の概要: Tree Decomposed Graph Neural Network

• arxiv url: http://arxiv.org/abs/2108.11022v1
• Date: Wed, 25 Aug 2021 02:47:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-26 13:06:34.949597
• Title: Tree Decomposed Graph Neural Network
• Title（参考訳）: 木分解グラフニューラルネットワーク
• Authors: Yu Wang, Tyler Derr
• Abstract要約: 本研究では,異なる階層の近傍を乱して特徴の平滑化を緩和する木分解法を提案する。 また、木分解定式化におけるグラフ拡散によるマルチホップ依存性を特徴付け、木分解グラフニューラルネットワーク(TDGNN)を構築する。 総合的な実験は、ホモフィリーネットワークとヘテロフィリーネットワークの両方において、TDGNNの優れた性能を示す。
• 参考スコア（独自算出の注目度）: 11.524511007436791
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have achieved significant success in learning better representations by performing feature propagation and transformation iteratively to leverage neighborhood information. Nevertheless, iterative propagation restricts the information of higher-layer neighborhoods to be transported through and fused with the lower-layer neighborhoods', which unavoidably results in feature smoothing between neighborhoods in different layers and can thus compromise the performance, especially on heterophily networks. Furthermore, most deep GNNs only recognize the importance of higher-layer neighborhoods while yet to fully explore the importance of multi-hop dependency within the context of different layer neighborhoods in learning better representations. In this work, we first theoretically analyze the feature smoothing between neighborhoods in different layers and empirically demonstrate the variance of the homophily level across neighborhoods at different layers. Motivated by these analyses, we further propose a tree decomposition method to disentangle neighborhoods in different layers to alleviate feature smoothing among these layers. Moreover, we characterize the multi-hop dependency via graph diffusion within our tree decomposition formulation to construct Tree Decomposed Graph Neural Network (TDGNN), which can flexibly incorporate information from large receptive fields and aggregate this information utilizing the multi-hop dependency. Comprehensive experiments demonstrate the superior performance of TDGNN on both homophily and heterophily networks under a variety of node classification settings. Extensive parameter analysis highlights the ability of TDGNN to prevent over-smoothing and incorporate features from shallow layers with deeper multi-hop dependencies, which provides new insights towards deeper graph neural networks. Code of TDGNN: http://github.com/YuWVandy/TDGNN
• Abstract（参考訳）: グラフニューラルネットワーク(gnns)は,近隣情報を活用するために,特徴の伝播と変換を反復的に行うことで,優れた表現の学習において大きな成功を収めている。 しかし, 反復伝搬は, 層間における特徴の平滑化を必然的に招き, 特にヘテロフィリネットワーク上での性能を損なうような, 層間を輸送・融合する高層近傍の情報を制限する。 さらに、ほとんどの深層gnnは、高層近傍の重要性のみを認識しつつも、より優れた表現を学ぶ上で、異なる層近傍のコンテキストにおけるマルチホップ依存の重要性を十分に検討していない。 本研究ではまず,異なる層における近傍の滑らかな特徴を理論的に解析し,異なる層における近傍のホモフィリレベルのばらつきを実証的に示す。 そこで本研究では,これらの層間の特徴の平滑化を緩和するために,異なる層内の近傍を乱す木分解法を提案する。 さらに,木分解定式化におけるグラフ拡散によるマルチホップ依存を特徴付け,木分解型グラフニューラルネットワーク(tdgnn)を構築した。 包括的実験は、ノード分類設定の異なるホモフィリーネットワークとヘテロフィリーネットワークにおいて、TDGNNの優れた性能を示す。 広範囲なパラメータ分析は、tdgnnが過剰なスムーシングを防止し、より深いマルチホップ依存性を持つ浅層からの機能を組み込む能力を強調し、より深いグラフニューラルネットワークへの新たな洞察を提供する。 TDGNNのコード:http://github.com/YuWVandy/TDGNN

関連論文リスト

• Graph Elimination Networks [8.806990624643333]
  グラフニューラルネットワーク(GNN)は、様々な領域に広く適用されているが、深い層では性能が良くない。 深層層におけるGNNの性能劣化の根本原因は,非効率な近傍特徴伝搬にあることを示す。 本稿では,周辺伝播における冗長性を排除するために,特定のアルゴリズムを用いたグラフ除去ネットワーク(gens)を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:58:59Z)
• DepWiGNN: A Depth-wise Graph Neural Network for Multi-hop Spatial Reasoning in Text [52.699307699505646]
  マルチホップ空間推論のためのDepWiGNN(Depth-Wise Graph Neural Network)を提案する。 具体的には,新しいノードメモリ方式を設計し,グラフの幅次元ではなく深さ次元の情報を集約する。 2つの挑戦的なマルチホップ空間推論データセットの実験結果から,DepWiGNNが既存の空間推論手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-19T08:07:22Z)
• Deep Graph Neural Networks via Flexible Subgraph Aggregation [50.034313206471694]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習し、近隣情報を集約することでノードの表現を学ぶ。 本稿では,サブグラフアグリゲーションの観点から,GNNの表現力を評価する。 サブグラフアグリゲーションの異なるホップをより柔軟に活用できるサンプリングベースノードレベル残余モジュール(SNR)を提案する。
  論文  参考訳（メタデータ） (2023-05-09T12:03:42Z)
• AGNN: Alternating Graph-Regularized Neural Networks to Alleviate Over-Smoothing [29.618952407794776]
  グラフ畳み込み層(GCL)とグラフ埋め込み層(GEL)からなる交代グラフ正規化ニューラルネットワーク(AGNN)を提案する。 GELはラプラシアン埋め込み項を含むグラフ正規化最適化から導かれる。 AGNNは、いくつかの多層または多次グラフニューラルネットワークのパフォーマンス比較を含む、多数の実験を通じて評価されている。
  論文  参考訳（メタデータ） (2023-04-14T09:20:03Z)
• Simple and Efficient Heterogeneous Graph Neural Network [55.56564522532328]
  不均一グラフニューラルネットワーク(HGNN)は、不均一グラフの豊富な構造的および意味的な情報をノード表現に埋め込む強力な能力を持つ。 既存のHGNNは、同種グラフ上のグラフニューラルネットワーク(GNN)から多くのメカニズム、特に注意機構と多層構造を継承する。 本稿では,これらのメカニズムを詳細に検討し,簡便かつ効率的なヘテロジニアスグラフニューラルネットワーク(SeHGNN)を提案する。
  論文  参考訳（メタデータ） (2022-07-06T10:01:46Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Simplifying approach to Node Classification in Graph Neural Networks [7.057970273958933]
  グラフニューラルネットワークのノード特徴集約ステップと深さを分離し、異なる集約特徴が予測性能にどのように寄与するかを経験的に分析する。 集約ステップによって生成された全ての機能が有用であるとは限らないことを示し、これらの少ない情報的特徴を用いることは、GNNモデルの性能に有害であることを示す。 提案モデルでは,提案モデルが最先端のGNNモデルと同等あるいはそれ以上の精度を達成可能であることを実証的に示す。
  論文  参考訳（メタデータ） (2021-11-12T14:53:22Z)
• Reinforced Neighborhood Selection Guided Multi-Relational Graph Neural Networks [68.9026534589483]
  RioGNNはReinforceed, recursive, flexible neighborhood selection guided multi-relational Graph Neural Network architectureである。 RioGNNは、各関係の個々の重要性の認識により、説明性を高めた差別的なノード埋め込みを学ぶことができる。
  論文  参考訳（メタデータ） (2021-04-16T04:30:06Z)
• RAN-GNNs: breaking the capacity limits of graph neural networks [43.66682619000099]
  グラフニューラルネットワークは、グラフ上で定義されたデータの学習と分析に対処する問題の中心となっている。 最近の研究では、複数の近隣サイズを同時に考慮し、適応的にそれらを調整する必要があるためです。 ランダムに配線されたアーキテクチャを用いることで、ネットワークの容量を増大させ、よりリッチな表現を得ることができることを示す。
  論文  参考訳（メタデータ） (2021-03-29T12:34:36Z)
• Enhance Information Propagation for Graph Neural Network by Heterogeneous Aggregations [7.3136594018091134]
  グラフニューラルネットワークは、ディープラーニングの成功の継続として出現している。 ヘテロジニアスアグリゲーションを組み合わせることで,GNN層間の情報伝達を促進することを提案する。 我々は,多くのグラフ分類ベンチマークにおいて,HAG-Netの有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2021-02-08T08:57:56Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。