論文の概要: A Dynamical Systems-Inspired Pruning Strategy for Addressing Oversmoothing in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2412.07243v1
• Date: Tue, 10 Dec 2024 07:07:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:38:41.325668
• Title: A Dynamical Systems-Inspired Pruning Strategy for Addressing Oversmoothing in Graph Neural Networks
• Title（参考訳）: グラフニューラルネットにおける過平滑化対策のための動的システムによるプルーニング戦略
• Authors: Biswadeep Chakraborty, Harshit Kumar, Saibal Mukhopadhyay,
• Abstract要約: グラフニューラルネットワーク(GNN)のオーバースムース化は、ネットワークの深さが増加するにつれて大きな課題となる。 オーバースムーシングの根本原因を特定し,textbftextitDYNAMO-GATを提案する。 我々の理論的分析は、DYNAMO-GATが過密状態への収束を妨げていることを示している。
• 参考スコア（独自算出の注目度）: 18.185834696177654
• License:
• Abstract: Oversmoothing in Graph Neural Networks (GNNs) poses a significant challenge as network depth increases, leading to homogenized node representations and a loss of expressiveness. In this work, we approach the oversmoothing problem from a dynamical systems perspective, providing a deeper understanding of the stability and convergence behavior of GNNs. Leveraging insights from dynamical systems theory, we identify the root causes of oversmoothing and propose \textbf{\textit{DYNAMO-GAT}}. This approach utilizes noise-driven covariance analysis and Anti-Hebbian principles to selectively prune redundant attention weights, dynamically adjusting the network's behavior to maintain node feature diversity and stability. Our theoretical analysis reveals how DYNAMO-GAT disrupts the convergence to oversmoothed states, while experimental results on benchmark datasets demonstrate its superior performance and efficiency compared to traditional and state-of-the-art methods. DYNAMO-GAT not only advances the theoretical understanding of oversmoothing through the lens of dynamical systems but also provides a practical and effective solution for improving the stability and expressiveness of deep GNNs.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)のオーバースムーシングは、ネットワークの深さが増加し、均質化されたノード表現と表現力の喪失につながるため、大きな課題となる。 本研究では,GNNの安定性と収束挙動のより深い理解を提供するために,動的システムの観点から,過度に平滑な問題にアプローチする。 力学系理論からの洞察を活かし、過度な平滑化の根本原因を特定し、 \textbf{\textit{DYNAMO-GAT}} を提案する。 このアプローチはノイズ駆動型共分散分析とアンチヘビーンの原理を用いて冗長な注意重みを選択的に引き起こし、ネットワークの振る舞いを動的に調整し、ノードの特徴の多様性と安定性を維持する。 我々の理論分析では,DYNAMO-GATが過度に平滑な状態への収束を妨げているのに対し,ベンチマークデータセットによる実験結果は従来の手法や最先端手法と比較して優れた性能と効率を示す。 DYNAMO-GATは、力学系のレンズを通して過密の理論的理解を深めるだけでなく、深いGNNの安定性と表現性を改善するための実用的で効果的なソリューションを提供する。

関連論文リスト

• Neural Networks Decoded: Targeted and Robust Analysis of Neural Network Decisions via Causal Explanations and Reasoning [9.947555560412397]
  本稿では、因果推論理論に基づく新しい手法TRACERを紹介し、DNN決定の根底にある因果ダイナミクスを推定する。 提案手法は入力特徴に系統的に介入し,特定の変化がネットワークを介してどのように伝播するかを観察し,内部の活性化と最終的な出力に影響を与える。 TRACERはさらに、モデルバイアスの可能性のある反ファクトを生成することで説明可能性を高め、誤分類に対する対照的な説明を提供する。
  論文  参考訳（メタデータ） (2024-10-07T20:44:53Z)
• Improving Graph Machine Learning Performance Through Feature Augmentation Based on Network Control Theory [3.2505793054002963]
  グラフニューラルネットワーク(GNN)は、様々なネットワークベースの学習タスクにおいて、例外的な有用性を示している。 多くの現実世界のシステムはノードレベルの情報を欠いている可能性があり、GNNにとって課題となっている。 我々は,NCTに基づく拡張機能拡張(NCT-EFA)という新たなアプローチを導入し,GNNの性能向上のための機能拡張パイプラインに,他の集中度指標とともに平均制御性を同化させる。
  論文  参考訳（メタデータ） (2024-05-03T19:11:54Z)
• Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
  最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。 トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
  論文  参考訳（メタデータ） (2024-03-12T07:32:47Z)
• Resilient Graph Neural Networks: A Coupled Dynamical Systems Approach [12.856220339384269]
  グラフニューラルネットワーク(GNN)は、さまざまなグラフベースのタスクに対処するための重要なコンポーネントとして、自らを確立している。 彼らの顕著な成功にもかかわらず、GNNは相変わらず敵の攻撃の形で摂動を入力できる。 本稿では, 連成力学系のレンズを用いて, 対向摂動に対するGNNの強化手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T20:06:48Z)
• Dynamic Causal Explanation Based Diffusion-Variational Graph Neural Network for Spatio-temporal Forecasting [60.03169701753824]
  時間予測のための動的拡散型グラフニューラルネットワーク(DVGNN)を提案する。 提案したDVGNNモデルは最先端のアプローチよりも優れ,Root Mean Squared Errorの結果が優れている。
  論文  参考訳（メタデータ） (2023-05-16T11:38:19Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Graph-Coupled Oscillator Networks [23.597444325599835]
  Graph-Coupled Networks (GraphCON)は、グラフのディープラーニングのための新しいフレームワークである。 我々のフレームワークは,様々なグラフベースの学習タスクにおける最先端技術に関して,競争力のあるパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2022-02-04T18:29:49Z)
• Continuous-Depth Neural Models for Dynamic Graph Prediction [16.89981677708299]
  連続深度グラフニューラルネットワーク(GNN)の枠組みを紹介する。 ニューラルグラフ微分方程式(ニューラルグラフ微分方程式)は、GNNに対抗して形式化される。 その結果、遺伝的制御ネットワークにおけるトラフィック予測や予測など、アプリケーション全体にわたって提案されたモデルの有効性が証明された。
  論文  参考訳（メタデータ） (2021-06-22T07:30:35Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。