論文の概要: The Snowflake Hypothesis: Training Deep GNN with One Node One Receptive
field
- arxiv url: http://arxiv.org/abs/2308.10051v1
- Date: Sat, 19 Aug 2023 15:21:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 18:08:52.009214
- Title: The Snowflake Hypothesis: Training Deep GNN with One Node One Receptive
field
- Title(参考訳): snowflake仮説:一つのノード1の受容野でディープgnnを訓練する
- Authors: Kun Wang, Guohao Li, Shilong Wang, Guibin Zhang, Kai Wang, Yang You,
Xiaojiang Peng, Yuxuan Liang, Yang Wang
- Abstract要約: 一つのノード、一つの受容場の概念を支える新しいパラダイムである「雪の結晶仮説」を紹介します。
最も単純な勾配とノードレベルの余弦距離を、各ノードの集約深さを調節する指針として採用する。
観測結果は,我々の仮説がタスクの普遍演算子として機能できることを実証した。
- 参考スコア(独自算出の注目度): 39.679151680622375
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite Graph Neural Networks demonstrating considerable promise in graph
representation learning tasks, GNNs predominantly face significant issues with
over-fitting and over-smoothing as they go deeper as models of computer vision
realm. In this work, we conduct a systematic study of deeper GNN research
trajectories. Our findings indicate that the current success of deep GNNs
primarily stems from (I) the adoption of innovations from CNNs, such as
residual/skip connections, or (II) the tailor-made aggregation algorithms like
DropEdge. However, these algorithms often lack intrinsic interpretability and
indiscriminately treat all nodes within a given layer in a similar manner,
thereby failing to capture the nuanced differences among various nodes. To this
end, we introduce the Snowflake Hypothesis -- a novel paradigm underpinning the
concept of ``one node, one receptive field''. The hypothesis draws inspiration
from the unique and individualistic patterns of each snowflake, proposing a
corresponding uniqueness in the receptive fields of nodes in the GNNs.
We employ the simplest gradient and node-level cosine distance as guiding
principles to regulate the aggregation depth for each node, and conduct
comprehensive experiments including: (1) different training schemes; (2)
various shallow and deep GNN backbones, and (3) various numbers of layers (8,
16, 32, 64) on multiple benchmarks (six graphs including dense graphs with
millions of nodes); (4) compare with different aggregation strategies. The
observational results demonstrate that our hypothesis can serve as a universal
operator for a range of tasks, and it displays tremendous potential on deep
GNNs. It can be applied to various GNN frameworks, enhancing its effectiveness
when operating in-depth, and guiding the selection of the optimal network depth
in an explainable and generalizable way.
- Abstract(参考訳): グラフニューラルネットワークはグラフ表現学習タスクにかなりの期待を寄せているが、gnnは主に、コンピュータビジョンの領域のモデルとしてより深く進むにつれて、過剰フィッティングと過剰スムーシングの重大な問題に直面している。
本研究では,より深いGNN研究軌跡の系統的研究を行う。
以上の結果から, ディープGNNの現在の成功は, (I) 残差/スキップ接続, (II) DropEdgeのようなパーソナライズされたアグリゲーションアルゴリズムなどのCNNからのイノベーションの採用に起因することが示唆された。
しかし、これらのアルゴリズムは固有の解釈性に欠けることが多く、同じ方法で任意の層内の全てのノードを無差別に扱うため、様々なノード間の微妙な違いを捉えることができない。
この目的のために、snowflake仮説 -- ``one node, oneceptive field''という概念を基礎とする新しいパラダイムを紹介します。
この仮説は各雪片のユニークかつ個性的なパターンからインスピレーションを得て、GNNのノードの受容領域に対応する特異性を提案する。
我々は,各ノードの凝集深さを規定する最も単純な勾配とノードレベルのコサイン距離を指導する原則として,(1)異なる訓練スキーム,(2)様々な浅層および深層gnnバックボーン,(3)複数のベンチマーク(数百万ノードの密度グラフを含む6つのグラフ),(4)異なる集約戦略の比較など,包括的な実験を行う。
観測結果から,我々の仮説は様々なタスクの普遍的な演算子として機能し,深いGNNに膨大なポテンシャルを示すことが示された。
様々なGNNフレームワークに適用でき、奥行き操作の効率を高め、最適なネットワーク深さの選択を説明可能で一般化可能な方法で導くことができる。
関連論文リスト
- Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。
このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
論文 参考訳(メタデータ) (2023-12-16T14:09:23Z) - How Expressive are Graph Neural Networks in Recommendation? [17.31401354442106]
グラフニューラルネットワーク(GNN)は、レコメンデーションを含むさまざまなグラフ学習タスクにおいて、優れたパフォーマンスを示している。
近年、GNNの表現性を調査し、メッセージパッシングGNNがWeisfeiler-Lehmanテストと同じくらい強力であることを実証している。
本稿では,GNNがノード間の構造的距離を捉える能力を評価するために,位相的近接度尺度を提案する。
論文 参考訳(メタデータ) (2023-08-22T02:17:34Z) - Deep Graph Neural Networks via Flexible Subgraph Aggregation [50.034313206471694]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習し、近隣情報を集約することでノードの表現を学ぶ。
本稿では,サブグラフアグリゲーションの観点から,GNNの表現力を評価する。
サブグラフアグリゲーションの異なるホップをより柔軟に活用できるサンプリングベースノードレベル残余モジュール(SNR)を提案する。
論文 参考訳(メタデータ) (2023-05-09T12:03:42Z) - On Generalized Degree Fairness in Graph Neural Networks [18.110053023118294]
Deg-FairGNN(Generalized Degree Fairness-centric Graph Neural Network)と呼ばれる新しいGNNフレームワークを提案する。
具体的には、各GNN層において、学習可能なデバイアス機能を用いて、デバイアスのコンテキストを生成する。
3つのベンチマークデータセットに対する大規模な実験は、精度と公正度の両方において、我々のモデルの有効性を示す。
論文 参考訳(メタデータ) (2023-02-08T05:00:37Z) - Superiority of GNN over NN in generalizing bandlimited functions [6.3151583550712065]
グラフニューラルネットワーク(GNN)は、さまざまなアプリケーションにまたがってグラフベースの情報を処理するための強力なリソースとして登場した。
本研究では,これらの分類におけるGNNの習熟度について検討する。
以上の結果から,GNNを用いた帯域制限関数を$varepsilon$-errorマージン内で一般化する上で,高い効率性を示した。
論文 参考訳(メタデータ) (2022-06-13T05:15:12Z) - AdaGNN: A multi-modal latent representation meta-learner for GNNs based
on AdaBoosting [0.38073142980733]
グラフニューラルネットワーク(GNN)は、固有のネットワーク機能の抽出に重点を置いている。
GNNのための強化型メタラーナを提案する。
AdaGNNは、リッチで多様なノード近傍情報を持つアプリケーションに対して非常によく機能する。
論文 参考訳(メタデータ) (2021-08-14T03:07:26Z) - Distance Encoding: Design Provably More Powerful Neural Networks for
Graph Representation Learning [63.97983530843762]
グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。
GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。
より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。
本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
論文 参考訳(メタデータ) (2020-08-31T23:15:40Z) - Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。
複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。
本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
論文 参考訳(メタデータ) (2020-06-26T17:03:06Z) - Towards Deeper Graph Neural Networks with Differentiable Group
Normalization [61.20639338417576]
グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。
オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。
2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
論文 参考訳(メタデータ) (2020-06-12T07:18:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。