論文の概要: A Neural Collapse Perspective on Feature Evolution in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2307.01951v1
• Date: Tue, 4 Jul 2023 23:03:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 15:43:07.456599
• Title: A Neural Collapse Perspective on Feature Evolution in Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークにおける特徴進化の神経崩壊の展望
• Authors: Vignesh Kothapalli, Tom Tirer, Joan Bruna
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データの分類タスクでますます人気が高まっている。 本稿では,ノードワイズ分類に着目し,ニューラル崩壊現象のレンズによる特徴進化を考察する。 我々は、「最適」な数学的モデルでさえ、グラフが正確な崩壊を伴う最小値を持つためには厳密な構造条件に従う必要があることを示した。
• 参考スコア（独自算出の注目度）: 50.44187335521469
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph neural networks (GNNs) have become increasingly popular for classification tasks on graph-structured data. Yet, the interplay between graph topology and feature evolution in GNNs is not well understood. In this paper, we focus on node-wise classification, illustrated with community detection on stochastic block model graphs, and explore the feature evolution through the lens of the "Neural Collapse" (NC) phenomenon. When training instance-wise deep classifiers (e.g. for image classification) beyond the zero training error point, NC demonstrates a reduction in the deepest features' within-class variability and an increased alignment of their class means to certain symmetric structures. We start with an empirical study that shows that a decrease in within-class variability is also prevalent in the node-wise classification setting, however, not to the extent observed in the instance-wise case. Then, we theoretically study this distinction. Specifically, we show that even an "optimistic" mathematical model requires that the graphs obey a strict structural condition in order to possess a minimizer with exact collapse. Interestingly, this condition is viable also for heterophilic graphs and relates to recent empirical studies on settings with improved GNNs' generalization. Furthermore, by studying the gradient dynamics of the theoretical model, we provide reasoning for the partial collapse observed empirically. Finally, we present a study on the evolution of within- and between-class feature variability across layers of a well-trained GNN and contrast the behavior with spectral methods.
• Abstract（参考訳）: グラフ構造データの分類タスクでは,グラフニューラルネットワーク(gnns)がますます普及している。 しかし,GNNにおけるグラフトポロジと特徴進化の相互作用はよく理解されていない。 本稿では,確率的ブロックモデルグラフ上でのコミュニティ検出と共に,ノード単位の分類に着目し,神経崩壊(nc)現象のレンズを通して特徴進化を考察する。 インスタンスワイドの深層分類器(例えば画像分類)をゼロの訓練誤差点を超えて訓練する場合、NCは最深部特徴のクラス内変数の減少を示し、それらのクラスは特定の対称構造にアライメントされる。 まず、ノード単位の分類設定において、クラス内変数の減少が顕著であることを示す実証的研究から始めるが、インスタンス単位のケースで観測される範囲には及ばない。 そして、この区別を理論的に研究する。 具体的には、「最適」な数学的モデルでさえ、グラフは正確な崩壊を伴う最小値を持つために厳密な構造条件に従う必要があることを示す。 興味深いことに、この条件は異種グラフにも有効であり、GNNの一般化を改善した最近の経験的研究と関係している。 さらに, 理論モデルの勾配ダイナミクスを研究することにより, 経験的に観測される部分的崩壊の推理を与える。 最後に,よく訓練されたgnnの層間におけるクラス間特徴変動の進化と,その挙動をスペクトル法と対比する。

関連論文リスト

• LSEnet: Lorentz Structural Entropy Neural Network for Deep Graph Clustering [59.89626219328127]
  グラフクラスタリングは機械学習の基本的な問題である。 近年、ディープラーニング手法は最先端の成果を達成しているが、事前に定義されたクラスタ番号なしでは動作できない。 本稿では,グラフ情報理論の新たな視点からこの問題に対処することを提案する。
  論文  参考訳（メタデータ） (2024-05-20T05:46:41Z)
• Heterophily-Based Graph Neural Network for Imbalanced Classification [19.51668009720269]
  グラフの不均衡な分類をグラフヘテロフィリを考慮した一意なアプローチを導入する。 我々は,不均衡な分類戦略をヘテロフィリア認識GNNと統合したFast Im-GBKを提案する。 実世界のグラフに関する我々の実験は、ノード分類タスクの分類性能と効率において、我々のモデルが優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-12T21:19:47Z)
• Towards Demystifying the Generalization Behaviors When Neural Collapse Emerges [132.62934175555145]
  Neural Collapse(NC)は、トレーニング末期(TPT)におけるディープニューラルネットワークのよく知られた現象である 本稿では,列車の精度が100%に達した後も,継続訓練がテストセットの精度向上に繋がる理由を理論的に説明する。 我々はこの新たに発見された性質を「非保守的一般化」と呼ぶ。
  論文  参考訳（メタデータ） (2023-10-12T14:29:02Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Explaining and Adapting Graph Conditional Shift [28.532526595793364]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データに対して顕著な性能を示した。 最近の実証研究により、GNNは分布シフトに非常に敏感であることが示唆されている。
  論文  参考訳（メタデータ） (2023-06-05T21:17:48Z)
• OrthoReg: Improving Graph-regularized MLPs via Orthogonality Regularization [66.30021126251725]
  グラフニューラルネットワーク(GNN)は現在、グラフ構造データのモデリングにおいて支配的である。 グラフ正規化ネットワーク(GR-MLP)はグラフ構造情報をモデル重みに暗黙的に注入するが、その性能はほとんどのタスクにおいてGNNとほとんど一致しない。 GR-MLPは,最大数個の固有値が埋め込み空間を支配する現象である次元崩壊に苦しむことを示す。 次元崩壊問題を緩和する新しいGR-MLPモデルであるOrthoRegを提案する。
  論文  参考訳（メタデータ） (2023-01-31T21:20:48Z)
• Analysis of Convolutions, Non-linearity and Depth in Graph Neural Networks using Neural Tangent Kernel [8.824340350342512]
  グラフニューラルネットワーク(GNN)は、隣接するノードを集約することで、データの構造情報を活用するように設計されている。 半教師付きノード分類設定におけるグラフニューラルカーネルを用いて,GNNアーキテクチャの異なる側面の影響を理論的に解析する。 i) 線形ネットワークはReLUネットワークと同じくらいのクラス情報をキャプチャし、 (ii) 行正規化は、他の畳み込みよりも基礎となるクラス構造を保存し、 (iii) 過スムージングによりネットワーク深さが低下し、 (iv) スキップ接続は無限の深さでもクラス情報を保持し、過スムーズを除去する。
  論文  参考訳（メタデータ） (2022-10-18T12:28:37Z)
• Uncovering the Structural Fairness in Graph Contrastive Learning [87.65091052291544]
  グラフコントラスト学習(GCL)は、ノード表現を学習するための有望な自己教師型アプローチとして登場した。 GCL法で得られた表現は,GCN法で学習した表現よりも既に公平であることを示す。 我々は、低次ノードと高次ノードに異なる戦略を適用し、GRAph contrastive learning for Degree bias (GRADE)と呼ばれるグラフ拡張手法を考案した。
  論文  参考訳（メタデータ） (2022-10-06T15:58:25Z)
• Graph Neural Network with Curriculum Learning for Imbalanced Node Classification [21.085314408929058]
  グラフニューラルネットワーク(GNN)は,ノード分類などのグラフベースの学習タスクの新興技術である。 本研究では,ノードラベルの不均衡に対するGNNの脆弱性を明らかにする。 本稿では,2つのモジュールからなるカリキュラム学習(GNN-CL)を備えたグラフニューラルネットワークフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-05T10:46:11Z)
• Stochastic Graph Recurrent Neural Network [6.656993023468793]
  本稿では,ノード属性とトポロジの進化を同時に捉えるために潜時変数を適用した新しいニューラルアーキテクチャであるSGRNNを提案する。 具体的には、決定論的状態は、相互干渉を抑制する反復過程において状態から分離される。 実世界のデータセットを用いた実験により,提案モデルの有効性が示された。
  論文  参考訳（メタデータ） (2020-09-01T16:14:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。