論文の概要: All Nodes are created Not Equal: Node-Specific Layer Aggregation and Filtration for GNN

• arxiv url: http://arxiv.org/abs/2405.07892v1
• Date: Mon, 13 May 2024 16:27:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 12:56:21.389264
• Title: All Nodes are created Not Equal: Node-Specific Layer Aggregation and Filtration for GNN
• Title（参考訳）: すべてのノードが平等ではない - GNN用のノード特有層アグリゲーションとフィルタ
• Authors: Shilong Wang, Hao Wu, Yifan Duan, Guibin Zhang, Guohao Li, Yuxuan Liang, Shirui Pan, Kun Wang, Yang Wang,
• Abstract要約: グラフニューラルネットワークのためのNode-Specific Layer Aggregation and filtration Architecture(NoSAF)を提案する。 NoSAFは各レイヤのノードに対して信頼性の高い情報フィルタを提供し、その後のレイヤに有益な情報を抽出する。 NoSAFはまた、モデルのすべての層で情報を補充する補償機構も組み込まれており、非常に深い層でも意味のある計算を行うことができる。
• 参考スコア（独自算出の注目度）: 61.28174338723467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ever-designed Graph Neural Networks, though opening a promising path for the modeling of the graph-structure data, unfortunately introduce two daunting obstacles to their deployment on devices. (I) Most of existing GNNs are shallow, due mostly to the over-smoothing and gradient-vanish problem as they go deeper as convolutional architectures. (II) The vast majority of GNNs adhere to the homophily assumption, where the central node and its adjacent nodes share the same label. This assumption often poses challenges for many GNNs working with heterophilic graphs. Addressing the aforementioned issue has become a looming challenge in enhancing the robustness and scalability of GNN applications. In this paper, we take a comprehensive and systematic approach to overcoming the two aforementioned challenges for the first time. We propose a Node-Specific Layer Aggregation and Filtration architecture, termed NoSAF, a framework capable of filtering and processing information from each individual nodes. NoSAF introduces the concept of "All Nodes are Created Not Equal" into every layer of deep networks, aiming to provide a reliable information filter for each layer's nodes to sieve out information beneficial for the subsequent layer. By incorporating a dynamically updated codebank, NoSAF dynamically optimizes the optimal information outputted downwards at each layer. This effectively overcomes heterophilic issues and aids in deepening the network. To compensate for the information loss caused by the continuous filtering in NoSAF, we also propose NoSAF-D (Deep), which incorporates a compensation mechanism that replenishes information in every layer of the model, allowing NoSAF to perform meaningful computations even in very deep layers.
• Abstract（参考訳）: 永遠に設計されたグラフニューラルネットワークは、グラフ構造データのモデリングに有望な道を開くが、残念ながらデバイスへの展開に2つの大きな障害をもたらす。 (I)既存のGNNのほとんどは浅く、ほとんどが過度にスムースでグラデーション・バニッシュな問題であり、畳み込みアーキテクチャとして深くなっているためです。 (II) GNNの大多数は、中央ノードとその隣接ノードが同じラベルを共有するホモフィリー仮定に準拠している。 この仮定は、異種グラフを扱う多くのGNNに対してしばしば問題を引き起こす。 上記の問題に対処することは、GNNアプリケーションの堅牢性とスケーラビリティを高める上で、難題となっている。 本稿では,上記の2つの課題を初めて克服するために,包括的で体系的なアプローチをとる。 本研究では,各ノードから情報をフィルタリングし,処理できるフレームワークであるNoSAFというNode-Specific Layer Aggregation and Filtrationアーキテクチャを提案する。 NoSAFは、ディープネットワークのすべての層に"All Nodes are Created Not Equal"という概念を導入し、各層のノードに信頼性の高い情報フィルタを提供し、その後の層に有益な情報を抽出することを目指している。 動的に更新されたコードバンクを組み込むことで、NoSAFは各層で出力された最適な情報を動的に最適化する。 これにより、不均一な問題を効果的に克服し、ネットワークをより深くする助けとなる。 また,NoSAFにおける連続フィルタリングによる情報損失を補うために,モデルの各層に情報を補う補償機構を組み込んだNoSAF-D(Deep)を提案する。

関連論文リスト

• The Snowflake Hypothesis: Training Deep GNN with One Node One Receptive field [39.679151680622375]
  一つのノード、一つの受容場の概念を支える新しいパラダイムである「雪の結晶仮説」を紹介します。 最も単純な勾配とノードレベルの余弦距離を、各ノードの集約深さを調節する指針として採用する。 観測結果は,我々の仮説がタスクの普遍演算子として機能できることを実証した。
  論文  参考訳（メタデータ） (2023-08-19T15:21:12Z)
• DPAR: Decoupled Graph Neural Networks with Node-Level Differential Privacy [30.15971370844865]
  我々は,ノードとエッジが保護されるように,GNNをトレーニングするためのノードレベルの差分プライバシー(DP)の実現を目指している。 プライバシーとユーティリティのトレードオフが強化されたGNNをトレーニングするために,DPAR(Dariially Private Approximate Personalized PageRank)を用いたデカップリングGNNを提案する。
  論文  参考訳（メタデータ） (2022-10-10T05:34:25Z)
• NDGGNET-A Node Independent Gate based Graph Neural Networks [6.155450481110693]
  疎結合なノードでは、単一のGNN層を通して十分な情報を得るのは難しい。 この論文では、通常のGNNモデルでより多くのレイヤに対応可能な新しいフレームワークを定義する。 実験結果から,提案モデルがモデル深度を効果的に向上し,複数のデータセットで良好に動作できることが示唆された。
  論文  参考訳（メタデータ） (2022-05-11T08:51:04Z)
• Enhance Information Propagation for Graph Neural Network by Heterogeneous Aggregations [7.3136594018091134]
  グラフニューラルネットワークは、ディープラーニングの成功の継続として出現している。 ヘテロジニアスアグリゲーションを組み合わせることで,GNN層間の情報伝達を促進することを提案する。 我々は,多くのグラフ分類ベンチマークにおいて,HAG-Netの有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2021-02-08T08:57:56Z)
• NCGNN: Node-level Capsule Graph Neural Network [45.23653314235767]
  ノードレベルカプセルグラフニューラルネットワーク(ncgnn)は、ノードをカプセル群として表現する。 凝集に適したカプセルを適応的に選択する新しい動的ルーティング手法を開発した。 NCGNNは、過度にスムースな問題に対処でき、分類のためのより良いノード埋め込みを生成することで、芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-12-07T06:46:17Z)
• Deoscillated Graph Collaborative Filtering [74.55967586618287]
  協調フィルタリング(CF)信号は、ユーザとアイテムの埋め込みを学習するRecommender System(RS)モデルにとって不可欠である。 最近のグラフニューラルネットワーク(GNN)では、複数の集約層を積み重ねて高次信号の伝搬を提案する。 textbfDeoscillated textbfGraph textbfCollaborative textbfFiltering(DGCF)という新しいRSモデルを提案する。
  論文  参考訳（メタデータ） (2020-11-04T02:26:53Z)
• Tackling Over-Smoothing for General Graph Convolutional Networks [88.71154017107257]
  一般的なGCNは、GCN, GCN with bias, ResGCN, APPNPを含む深度の増加とともにどのように振る舞うかを検討する。 そこで我々はDropEdgeを提案し,各トレーニングエポックにおいて一定数のエッジをランダムに除去することで過度なスムース化を緩和する。
  論文  参考訳（メタデータ） (2020-08-22T16:14:01Z)
• Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
  グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。 複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。 本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:03:06Z)
• Towards Deeper Graph Neural Networks with Differentiable Group Normalization [61.20639338417576]
  グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。 オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。 2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
  論文  参考訳（メタデータ） (2020-06-12T07:18:02Z)
• Dense Residual Network: Enhancing Global Dense Feature Flow for Character Recognition [75.4027660840568]
  本稿では,すべての畳み込み層から階層的特徴をフルに活用することにより,局所的・大域的特徴フローを改善する方法について検討する。 技術的には、テキスト認識のための効率的で効果的なCNNフレームワークであるFDRN(Fast Dense Residual Network)を提案する。
  論文  参考訳（メタデータ） (2020-01-23T06:55:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。