論文の概要: Reducing Oversmoothing through Informed Weight Initialization in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2410.23830v1
• Date: Thu, 31 Oct 2024 11:21:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:01:04.246633
• Title: Reducing Oversmoothing through Informed Weight Initialization in Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークにおけるインフォームドウェイト初期化による過平滑化の低減
• Authors: Dimitrios Kelesis, Dimitris Fotakis, Georgios Paliouras,
• Abstract要約: 本稿では,ノードやグラフの分類タスクにおいて,過度なスムース化を抑える新しいスキーム(G-Init)を提案する。 以上の結果から,新しい手法(G-Init)は深部GNNの過剰なスムース化を低減し,その有効利用を促進することが示唆された。
• 参考スコア（独自算出の注目度）: 16.745718346575202
• License:
• Abstract: In this work, we generalize the ideas of Kaiming initialization to Graph Neural Networks (GNNs) and propose a new scheme (G-Init) that reduces oversmoothing, leading to very good results in node and graph classification tasks. GNNs are commonly initialized using methods designed for other types of Neural Networks, overlooking the underlying graph topology. We analyze theoretically the variance of signals flowing forward and gradients flowing backward in the class of convolutional GNNs. We then simplify our analysis to the case of the GCN and propose a new initialization method. Our results indicate that the new method (G-Init) reduces oversmoothing in deep GNNs, facilitating their effective use. Experimental validation supports our theoretical findings, demonstrating the advantages of deep networks in scenarios with no feature information for unlabeled nodes (i.e., ``cold start'' scenario).
• Abstract（参考訳）: 本研究では,グラフニューラルネットワーク(GNN)に対するカイミング初期化(Kaming initialization)の考え方を一般化し,過剰なスムーシングを低減する新しいスキーム(G-Init)を提案する。 GNNは一般に、基礎となるグラフトポロジを見渡すために、他のタイプのニューラルネットワーク用に設計された手法を用いて初期化される。 我々は、畳み込みGNNのクラスにおいて、前方に流れる信号と後方に流れる勾配のばらつきを理論的に分析する。 次に、GCNの場合に解析を単純化し、新しい初期化法を提案する。 以上の結果から,新しい手法(G-Init)は深部GNNの過剰なスムース化を低減し,その有効利用を促進することが示唆された。 実験的な検証は、未ラベルノード(例えば ``cold start'' シナリオ)の特徴情報を持たないシナリオにおけるディープネットワークの利点を実証し、我々の理論的な結果を支持する。

関連論文リスト

• A Manifold Perspective on the Statistical Generalization of Graph Neural Networks [84.01980526069075]
  グラフニューラルネットワーク(GNN)は、グラフ畳み込みの連続的な応用により、隣接ノードからの情報を結合する。 ノードレベルとグラフレベルの両方のタスクにおけるGNNの一般化ギャップについて検討する。 トレーニンググラフのノード数によって一般化ギャップが減少することを示す。
  論文  参考訳（メタデータ） (2024-06-07T19:25:02Z)
• Graph Neural Networks Do Not Always Oversmooth [46.57665708260211]
  グラフ畳み込みネットワーク (GCN) における過剰スムーシングを, 無限に多くの隠れた特徴の極限におけるガウス過程 (GP) の等価性を用いて検討する。 ネットワークの初期重みが十分に大きな場合、GCNは過度に過度に動き、ノード特徴は大きな深さでも情報的であり続ける。
  論文  参考訳（メタデータ） (2024-06-04T12:47:13Z)
• On the Initialization of Graph Neural Networks [10.153841274798829]
  グラフニューラルネットワーク層間の前方・後方伝播のばらつきを解析する。 GNN最適化(Virgo)における可変不安定化のための新しい手法を提案する。 15のデータセットで包括的な実験を行い、Virgoが優れたモデルパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:55:49Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• Anomal-E: A Self-Supervised Network Intrusion Detection System based on Graph Neural Networks [0.0]
  本稿では,自己教師型ネットワーク侵入と異常検出のためのグラフニューラルネットワーク(GNN)の応用について検討する。 GNNは、グラフ構造を学習に組み込んだグラフベースのデータのためのディープラーニングアプローチである。 本稿では, エッジ特徴とグラフトポロジ構造を利用したGNNによる侵入・異常検出手法であるAnomal-Eを提案する。
  論文  参考訳（メタデータ） (2022-07-14T10:59:39Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Learning Graph Neural Networks with Approximate Gradient Descent [24.49427608361397]
  ラベルがノードまたはグラフに添付されているかどうかに応じて、2種類のグラフニューラルネットワーク(GNN)が調査されます。 gnnトレーニングアルゴリズムの設計と解析のための包括的なフレームワークを開発した。 提案アルゴリズムは,GNNの根底にある真のパラメータに対する線形収束率を保証する。
  論文  参考訳（メタデータ） (2020-12-07T02:54:48Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。