論文の概要: The Snowflake Hypothesis: Training Deep GNN with One Node One Receptive field

• arxiv url: http://arxiv.org/abs/2308.10051v1
• Date: Sat, 19 Aug 2023 15:21:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 18:08:52.009214
• Title: The Snowflake Hypothesis: Training Deep GNN with One Node One Receptive field
• Title（参考訳）: snowflake仮説:一つのノード1の受容野でディープgnnを訓練する
• Authors: Kun Wang, Guohao Li, Shilong Wang, Guibin Zhang, Kai Wang, Yang You, Xiaojiang Peng, Yuxuan Liang, Yang Wang
• Abstract要約: 一つのノード、一つの受容場の概念を支える新しいパラダイムである「雪の結晶仮説」を紹介します。 最も単純な勾配とノードレベルの余弦距離を、各ノードの集約深さを調節する指針として採用する。 観測結果は,我々の仮説がタスクの普遍演算子として機能できることを実証した。
• 参考スコア（独自算出の注目度）: 39.679151680622375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite Graph Neural Networks demonstrating considerable promise in graph representation learning tasks, GNNs predominantly face significant issues with over-fitting and over-smoothing as they go deeper as models of computer vision realm. In this work, we conduct a systematic study of deeper GNN research trajectories. Our findings indicate that the current success of deep GNNs primarily stems from (I) the adoption of innovations from CNNs, such as residual/skip connections, or (II) the tailor-made aggregation algorithms like DropEdge. However, these algorithms often lack intrinsic interpretability and indiscriminately treat all nodes within a given layer in a similar manner, thereby failing to capture the nuanced differences among various nodes. To this end, we introduce the Snowflake Hypothesis -- a novel paradigm underpinning the concept of ``one node, one receptive field''. The hypothesis draws inspiration from the unique and individualistic patterns of each snowflake, proposing a corresponding uniqueness in the receptive fields of nodes in the GNNs. We employ the simplest gradient and node-level cosine distance as guiding principles to regulate the aggregation depth for each node, and conduct comprehensive experiments including: (1) different training schemes; (2) various shallow and deep GNN backbones, and (3) various numbers of layers (8, 16, 32, 64) on multiple benchmarks (six graphs including dense graphs with millions of nodes); (4) compare with different aggregation strategies. The observational results demonstrate that our hypothesis can serve as a universal operator for a range of tasks, and it displays tremendous potential on deep GNNs. It can be applied to various GNN frameworks, enhancing its effectiveness when operating in-depth, and guiding the selection of the optimal network depth in an explainable and generalizable way.
• Abstract（参考訳）: グラフニューラルネットワークはグラフ表現学習タスクにかなりの期待を寄せているが、gnnは主に、コンピュータビジョンの領域のモデルとしてより深く進むにつれて、過剰フィッティングと過剰スムーシングの重大な問題に直面している。 本研究では,より深いGNN研究軌跡の系統的研究を行う。 以上の結果から, ディープGNNの現在の成功は, (I) 残差/スキップ接続, (II) DropEdgeのようなパーソナライズされたアグリゲーションアルゴリズムなどのCNNからのイノベーションの採用に起因することが示唆された。 しかし、これらのアルゴリズムは固有の解釈性に欠けることが多く、同じ方法で任意の層内の全てのノードを無差別に扱うため、様々なノード間の微妙な違いを捉えることができない。 この目的のために、snowflake仮説 -- ``one node, oneceptive field''という概念を基礎とする新しいパラダイムを紹介します。 この仮説は各雪片のユニークかつ個性的なパターンからインスピレーションを得て、GNNのノードの受容領域に対応する特異性を提案する。 我々は,各ノードの凝集深さを規定する最も単純な勾配とノードレベルのコサイン距離を指導する原則として,(1)異なる訓練スキーム,(2)様々な浅層および深層gnnバックボーン,(3)複数のベンチマーク(数百万ノードの密度グラフを含む6つのグラフ),(4)異なる集約戦略の比較など,包括的な実験を行う。 観測結果から,我々の仮説は様々なタスクの普遍的な演算子として機能し,深いGNNに膨大なポテンシャルを示すことが示された。 様々なGNNフレームワークに適用でき、奥行き操作の効率を高め、最適なネットワーク深さの選択を説明可能で一般化可能な方法で導くことができる。

関連論文リスト

• Personalized Layer Selection for Graph Neural Networks [24.201142695794157]
  グラフニューラルネットワーク(GNN)は、ノード周辺の局所グラフ構造の固定された粒度にノード属性を結合し、そのラベルを予測する。 本稿では,各ノードを分類する最適な表現層を選択するための新しいアルゴリズムMetSelect1を提案する。 10のデータセットと3つの異なるGNNの結果、GNNのノード分類精度をプラグ・アンド・プレイ方式で大幅に改善した。
  論文  参考訳（メタデータ） (2025-01-24T22:49:53Z)
• Learning Personalized Scoping for Graph Neural Networks under Heterophily [3.475704621679017]
  異種ノードが接続する傾向がある不テロ親和性グラフは、グラフニューラルネットワーク(GNN)に挑戦する 我々は、ノード分類におけるGNN過度適合を克服する、個別のスコープ分類問題としてパーソナライズされたスコーピングを形式化する。 本稿では,GNN推論のみに参加する軽量なアプローチであるAdaptive Scope (AS)を提案する。
  論文  参考訳（メタデータ） (2024-09-11T04:13:39Z)
• The Heterophilic Snowflake Hypothesis: Training and Empowering GNNs for Heterophilic Graphs [59.03660013787925]
  ヘテロフィリー・スノーフレーク仮説を導入し、ヘテロ親和性グラフの研究をガイドし、促進するための効果的なソリューションを提供する。 観察の結果,我々のフレームワークは多種多様なタスクのための多目的演算子として機能することがわかった。 さまざまなGNNフレームワークに統合することができ、パフォーマンスを詳細に向上し、最適なネットワーク深さを選択するための説明可能なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-06-18T12:16:00Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• On Generalized Degree Fairness in Graph Neural Networks [18.110053023118294]
  Deg-FairGNN(Generalized Degree Fairness-centric Graph Neural Network)と呼ばれる新しいGNNフレームワークを提案する。 具体的には、各GNN層において、学習可能なデバイアス機能を用いて、デバイアスのコンテキストを生成する。 3つのベンチマークデータセットに対する大規模な実験は、精度と公正度の両方において、我々のモデルの有効性を示す。
  論文  参考訳（メタデータ） (2023-02-08T05:00:37Z)
• Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning [63.97983530843762]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。 より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。 本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
  論文  参考訳（メタデータ） (2020-08-31T23:15:40Z)
• Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
  グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。 複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。 本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:03:06Z)
• Towards Deeper Graph Neural Networks with Differentiable Group Normalization [61.20639338417576]
  グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。 オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。 2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
  論文  参考訳（メタデータ） (2020-06-12T07:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。