論文の概要: ATNPA: A Unified View of Oversmoothing Alleviation in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2405.01663v1
• Date: Thu, 2 May 2024 18:33:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 14:54:33.194305
• Title: ATNPA: A Unified View of Oversmoothing Alleviation in Graph Neural Networks
• Title（参考訳）: ATNPA: グラフニューラルネットワークにおける過度な緩和の統一ビュー
• Authors: Yufei Jin, Xingquan Zhu,
• Abstract要約: オーバースムーシング(Oversmoothing)は、グラフニューラルネットワーク(GNN)学習において一般的に見られる課題である。 本稿では、GNNの過度な緩和アプローチを要約する5つの重要なステップを持つ統合ビューであるATNPAを提案する。
• 参考スコア（独自算出の注目度）: 6.158622230595564
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Oversmoothing is a commonly observed challenge in graph neural network (GNN) learning, where, as layers increase, embedding features learned from GNNs quickly become similar/indistinguishable, making them incapable of differentiating network proximity. A GNN with shallow layer architectures can only learn short-term relation or localized structure information, limiting its power of learning long-term connection, evidenced by their inferior learning performance on heterophilous graphs. Tackling oversmoothing is crucial to harness deep-layer architectures for GNNs. To date, many methods have been proposed to alleviate oversmoothing. The vast difference behind their design principles, combined with graph complications, make it difficult to understand and even compare their difference in tackling the oversmoothing. In this paper, we propose ATNPA, a unified view with five key steps: Augmentation, Transformation, Normalization, Propagation, and Aggregation, to summarize GNN oversmoothing alleviation approaches. We first outline three themes to tackle oversmoothing, and then separate all methods into six categories, followed by detailed reviews of representative methods, including their relation to the ATNPA, and discussion about their niche, strength, and weakness. The review not only draws in-depth understanding of existing methods in the field, but also shows a clear road map for future study.
• Abstract（参考訳）: オーバースムーシングはグラフニューラルネットワーク(GNN)学習において一般的に見られる課題であり、レイヤが増加するにつれて、GNNから学んだ機能がすぐに類似/区別不能になり、ネットワーク近接を区別することができない。 浅い層構造を持つGNNは、短命関係や局所構造情報のみを学習することができ、異種グラフ上の劣等学習性能によって証明された長期接続の学習能力を制限することができる。 GNNのディープレイヤアーキテクチャを利用するには、オーバースムースな処理が不可欠だ。 これまで、過剰なスムーシングを緩和するために多くの方法が提案されてきた。 設計原則の背景にある大きな違いは、グラフの複雑さと組み合わせることで、過度にスムースに対処する際の彼らの違いを理解し、比較することさえ難しくなります。 本稿では,Augmentation, Transformation, Normalization, Propagation, Aggregationの5つの重要なステップを持つ統一的な視点であるATNPAを提案し,GNNの過度な緩和アプローチを要約する。 まず,3つのテーマを概説し,すべての手法を6つのカテゴリに分けた上で,ATNPAとの関係,ニッチ,強度,弱さに関する議論など,代表的手法の詳細なレビューを行った。 このレビューは,現場における既存手法の詳細な理解だけでなく,今後の研究に向けた明確なロードマップも示している。

関連論文リスト

• Tensor-view Topological Graph Neural Network [16.433092191206534]
  グラフニューラルネットワーク(GNN)は最近、グラフ学習において注目を集めている。 既存のGNNは、各ノード周辺の非常に限られた地区からのローカル情報のみを使用する。 本稿では,単純かつ効果的な深層学習のクラスであるTopological Graph Neural Network (TTG-NN)を提案する。 実データ実験により,提案したTTG-NNは,グラフベンチマークにおいて20の最先端手法より優れていた。
  論文  参考訳（メタデータ） (2024-01-22T14:55:01Z)
• Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
  我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。 非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
  論文  参考訳（メタデータ） (2023-05-29T04:51:09Z)
• Building Shortcuts between Distant Nodes with Biaffine Mapping for Graph Convolutional Networks [18.160610500658183]
  本稿では,浅いアーキテクチャでグラフ畳み込みネットワークの表現性を向上するバイファイン手法を提案する。 提案手法は,ノードの長距離隣人への直接依存を学習することであり,ノード表現のためのリッチな情報を取得することができるのはワンホップメッセージパッシングのみである。
  論文  参考訳（メタデータ） (2023-02-17T06:39:47Z)
• Discovering the Representation Bottleneck of Graph Neural Networks from Multi-order Interactions [51.597480162777074]
  グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。 最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。 科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
  論文  参考訳（メタデータ） (2022-05-15T11:38:14Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Tackling Oversmoothing of GNNs with Contrastive Learning [35.88575306925201]
  グラフニューラルネットワーク(GNN)は、グラフデータと表現学習能力の包括的な関係を統合する。 オーバースムーシングはノードの最終的な表現を識別不能にし、ノード分類とリンク予測性能を劣化させる。 本稿では,TGCL(Topology-Guided Graph Contrastive Layer)を提案する。
  論文  参考訳（メタデータ） (2021-10-26T15:56:16Z)
• Uniting Heterogeneity, Inductiveness, and Efficiency for Graph Representation Learning [68.97378785686723]
  グラフニューラルネットワーク(GNN)は,グラフ上のノード表現学習の性能を大幅に向上させた。 GNNの過半数クラスは均質グラフのためにのみ設計されており、より有益な異種グラフに劣る適応性をもたらす。 本稿では,低次ノードと高次ノードの両方のエッジに付随するヘテロジニアスなノード特徴をパッケージ化する,新しい帰納的メタパスフリーメッセージパッシング方式を提案する。
  論文  参考訳（メタデータ） (2021-04-04T23:31:39Z)
• Enhance Information Propagation for Graph Neural Network by Heterogeneous Aggregations [7.3136594018091134]
  グラフニューラルネットワークは、ディープラーニングの成功の継続として出現している。 ヘテロジニアスアグリゲーションを組み合わせることで,GNN層間の情報伝達を促進することを提案する。 我々は,多くのグラフ分類ベンチマークにおいて,HAG-Netの有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2021-02-08T08:57:56Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition [126.51241919472356]
  我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。 ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
  論文  参考訳（メタデータ） (2020-11-26T14:43:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。