論文の概要: Implicit Graph Neural Diffusion Networks: Convergence, Generalization, and Over-Smoothing

• arxiv url: http://arxiv.org/abs/2308.03306v2
• Date: Thu, 15 Feb 2024 09:05:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 23:46:50.119992
• Title: Implicit Graph Neural Diffusion Networks: Convergence, Generalization, and Over-Smoothing
• Title（参考訳）: 暗黙のグラフニューラルネットワーク拡散ネットワーク : 収束、一般化、過剰スムーシング
• Authors: Guoji Fu, Mohammed Haroon Dupty, Yanfei Dong, Lee Wee Sun
• Abstract要約: Inlicit Graph Neural Networks (GNN)は、グラフ学習問題に対処する上で大きな成功を収めた。 パラメータ化グラフラプラシアン演算子に基づく暗黙グラフ拡散層を設計するための幾何学的枠組みを提案する。 ディリクレエネルギー最小化問題の固定点方程式として, 暗黙のGNN層がどう見えるかを示す。
• 参考スコア（独自算出の注目度）: 7.984586585987328
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Implicit Graph Neural Networks (GNNs) have achieved significant success in addressing graph learning problems recently. However, poorly designed implicit GNN layers may have limited adaptability to learn graph metrics, experience over-smoothing issues, or exhibit suboptimal convergence and generalization properties, potentially hindering their practical performance. To tackle these issues, we introduce a geometric framework for designing implicit graph diffusion layers based on a parameterized graph Laplacian operator. Our framework allows learning the metrics of vertex and edge spaces, as well as the graph diffusion strength from data. We show how implicit GNN layers can be viewed as the fixed-point equation of a Dirichlet energy minimization problem and give conditions under which it may suffer from over-smoothing during training (OST) and inference (OSI). We further propose a new implicit GNN model to avoid OST and OSI. We establish that with an appropriately chosen hyperparameter greater than the largest eigenvalue of the parameterized graph Laplacian, DIGNN guarantees a unique equilibrium, quick convergence, and strong generalization bounds. Our models demonstrate better performance than most implicit and explicit GNN baselines on benchmark datasets for both node and graph classification tasks.
• Abstract（参考訳）: Inlicit Graph Neural Networks (GNN)は近年,グラフ学習問題に対処する上で大きな成功を収めている。 しかし、設計が不十分な暗黙のGNN層は、グラフのメトリクスを学習したり、過度に平滑な問題を経験したり、最適下限収束と一般化特性を示すために適応性に制限がある可能性がある。 これらの問題に対処するために,パラメタライズドグラフラプラシアン演算子に基づく暗黙的グラフ拡散層を設計するための幾何学的枠組みを提案する。 我々のフレームワークは、頂点とエッジ空間のメトリクスと、データからグラフ拡散強度を学習することができる。 我々は,ディリクレエネルギー最小化問題の固定点方程式として,暗黙のGNN層がいかに見えるかを示し,トレーニング中(OST)と推論中(OSI)の過度な平滑化に悩まされる可能性のある条件を示す。 さらに,OSTとOSIを避けるために,新たな暗黙的GNNモデルを提案する。 パラメータ化グラフ Laplacian の最大固有値より大きい適切な選択されたハイパーパラメータで、DIGNN は独自の平衡、高速収束、強い一般化境界を保証する。 我々のモデルは、ノード分類タスクとグラフ分類タスクのベンチマークデータセット上で、最も暗黙的で明示的なGNNベースラインよりも優れたパフォーマンスを示す。

関連論文リスト

• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• Learning to Reweight for Graph Neural Network [63.978102332612906]
  グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。 既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。 本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T12:25:10Z)
• Robust Graph Neural Network based on Graph Denoising [10.564653734218755]
  グラフニューラルネットワーク(GNN)は、非ユークリッドデータセットを扱う学習問題に対して、悪名高い代替手段として登場した。 本研究は,観測トポロジにおける摂動の存在を明示的に考慮した,GNNの堅牢な実装を提案する。
  論文  参考訳（メタデータ） (2023-12-11T17:43:57Z)
• Global Minima, Recoverability Thresholds, and Higher-Order Structure in GNNS [0.0]
  ランダムグラフ理論の観点から,グラフニューラルネットワーク(GNN)アーキテクチャの性能を解析する。 合成データにおける特定の高次構造と実データにおける経験的構造の混合が、GNNの性能に劇的な影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2023-10-11T17:16:33Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Reliable Representations Make A Stronger Defender: Unsupervised Structure Refinement for Robust GNN [36.045702771828736]
  グラフニューラルネットワーク(GNN)は、グラフデータ上でのタスクの繁栄に成功している。 近年の研究では、グラフ構造を悪質に修正することで、攻撃者がGNNの性能を壊滅的に低下させることができることが示されている。 グラフ構造を最適化するための教師なしパイプラインSTABLEを提案する。
  論文  参考訳（メタデータ） (2022-06-30T10:02:32Z)
• Adaptive Kernel Graph Neural Network [21.863238974404474]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの表現学習において大きな成功を収めている。 本稿では,AKGNN(Adaptive Kernel Graph Neural Network)という新しいフレームワークを提案する。 AKGNNは、最初の試みで最適なグラフカーネルに統一的に適応することを学ぶ。 評価されたベンチマークデータセットで実験を行い、提案したAKGNNの優れた性能を示す有望な結果を得た。
  論文  参考訳（メタデータ） (2021-12-08T20:23:58Z)
• ACE-HGNN: Adaptive Curvature Exploration Hyperbolic Graph Neural Network [72.16255675586089]
  本稿では、入力グラフと下流タスクに基づいて最適な曲率を適応的に学習する適応曲率探索ハイパーボリックグラフニューラルネットワークACE-HGNNを提案する。 複数の実世界のグラフデータセットの実験は、競争性能と優れた一般化能力を備えたモデル品質において、顕著で一貫したパフォーマンス改善を示す。
  論文  参考訳（メタデータ） (2021-10-15T07:18:57Z)
• Training Robust Graph Neural Networks with Topology Adaptive Edge Dropping [116.26579152942162]
  グラフニューラルネットワーク(GNN)は、グラフ構造情報を利用してネットワークデータから表現をモデル化する処理アーキテクチャである。 彼らの成功にもかかわらず、GNNは限られた訓練データから得られる準最適一般化性能に悩まされている。 本稿では、一般化性能を改善し、堅牢なGNNモデルを学習するためのトポロジ適応エッジドロップ法を提案する。
  論文  参考訳（メタデータ） (2021-06-05T13:20:36Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)
• Implicit Graph Neural Networks [46.0589136729616]
  Indicit Graph Neural Networks (IGNN) と呼ばれるグラフ学習フレームワークを提案する。 IGNNは一貫して長距離依存を捉え、最先端のGNNモデルより優れている。
  論文  参考訳（メタデータ） (2020-09-14T06:04:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。