論文の概要: Partially Trained Graph Convolutional Networks Resist Oversmoothing

• arxiv url: http://arxiv.org/abs/2410.13416v1
• Date: Thu, 17 Oct 2024 10:35:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:18:58.305174
• Title: Partially Trained Graph Convolutional Networks Resist Oversmoothing
• Title（参考訳）: 部分的にトレーニングされたグラフ畳み込みネットワークはオーバースムーシングに抵抗する
• Authors: Dimitrios Kelesis, Dimitris Fotakis, Georgios Paliouras,
• Abstract要約: Kipf & Welling氏は、トレーニングされていないGCNは有意義なノード埋め込みを生成することができると提案した。 残りの層を凍結させながら,GCNの単一層のみをトレーニングする効果について検討した。 ネットワーク幅は、初期ノード特徴がモデルの未学習部分を通過した後のノード埋め込みの相似性に影響を与えることを示す。
• 参考スコア（独自算出の注目度）: 16.745718346575202
• License:
• Abstract: In this work we investigate an observation made by Kipf \& Welling, who suggested that untrained GCNs can generate meaningful node embeddings. In particular, we investigate the effect of training only a single layer of a GCN, while keeping the rest of the layers frozen. We propose a basis on which the effect of the untrained layers and their contribution to the generation of embeddings can be predicted. Moreover, we show that network width influences the dissimilarity of node embeddings produced after the initial node features pass through the untrained part of the model. Additionally, we establish a connection between partially trained GCNs and oversmoothing, showing that they are capable of reducing it. We verify our theoretical results experimentally and show the benefits of using deep networks that resist oversmoothing, in a ``cold start'' scenario, where there is a lack of feature information for unlabeled nodes.
• Abstract（参考訳）: 本稿では,Kipf \& Welling氏が行った観測から,未学習のGCNが有意義なノード埋め込みを生成することを示唆した。 特に、残りの層を凍結させながら、GCNの1つの層のみをトレーニングする効果について検討する。 本研究では, 未学習層の効果と埋込み発生への寄与を予測できる基盤を提案する。 さらに,ネットワーク幅は,初期ノード特徴がモデルの未学習部分を通過した後のノード埋め込みの相違に影響を及ぼすことを示す。 さらに,部分的に訓練されたGCNと過剰なスムーシングの関連性を確立し,それを減らすことができることを示す。 実験の結果を検証し,未ラベルノードの機能情報が不足している 'cold start'' シナリオにおいて,オーバースムーシングに抵抗するディープネットワークの利点を示す。

関連論文リスト

• Reducing Oversmoothing through Informed Weight Initialization in Graph Neural Networks [16.745718346575202]
  本稿では,ノードやグラフの分類タスクにおいて,過度なスムース化を抑える新しいスキーム(G-Init)を提案する。 以上の結果から,新しい手法(G-Init)は深部GNNの過剰なスムース化を低減し,その有効利用を促進することが示唆された。
  論文  参考訳（メタデータ） (2024-10-31T11:21:20Z)
• Robust Node Representation Learning via Graph Variational Diffusion Networks [7.335425547621226]
  近年,グラフ構造における摂動により,GNNに基づくノード表現学習が著しく劣化する可能性が示唆されている。 摂動の存在下で頑健なノード表現を学習するために、GNNを保護するための様々な研究が提案されている。 本稿では,ガウス雑音を効果的に制御し,摂動グラフ上のロバスト性を保護する新しいノードエンコーダであるグラフ変分拡散ネットワーク(GVDN)を提案する。
  論文  参考訳（メタデータ） (2023-12-18T03:18:53Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• Collaborative Graph Neural Networks for Attributed Network Embedding [63.39495932900291]
  グラフニューラルネットワーク(GNN)は、属性付きネットワーク埋め込みにおいて顕著な性能を示している。 本稿では,ネットワーク埋め込みに適したGNNアーキテクチャであるCulaborative graph Neural Networks-CONNを提案する。
  論文  参考訳（メタデータ） (2023-07-22T04:52:27Z)
• Deep Graph Neural Networks via Posteriori-Sampling-based Node-Adaptive Residual Module [65.81781176362848]
  グラフニューラルネットワーク(GNN)は、近隣情報収集を通じてグラフ構造化データから学習することができる。 レイヤーの数が増えるにつれて、ノード表現は区別不能になり、オーバー・スムーシング(over-smoothing)と呼ばれる。 我々は,textbfPosterior-Sampling-based, Node-distinguish Residual Module (PSNR)を提案する。
  論文  参考訳（メタデータ） (2023-05-09T12:03:42Z)
• SkipNode: On Alleviating Performance Degradation for Deep Graph Convolutional Networks [84.30721808557871]
  我々は,深いGCNにおける性能劣化の根本的な原因を探るため,理論的および実験的解析を行う。 我々は,深いGCNの性能劣化を克服するために,シンプルで効果的なプラグイン・アンド・プレイモジュールであるSkipnodeを提案する。
  論文  参考訳（メタデータ） (2021-12-22T02:18:31Z)
• New Insights into Graph Convolutional Networks using Neural Tangent Kernels [8.824340350342512]
  本稿では,グラフに関する半教師付き学習に着目し,その観察をNutral Tangent Kernels (NTK) のレンズを通して説明する。 我々は、無限に広いGCNに対応するNTK(スキップ接続なしで)を導出する。 得られたNTKを用いて、適切な正規化を行うと、ネットワーク深さがGCNの性能を劇的に低下させるとは限らないことを識別する。
  論文  参考訳（メタデータ） (2021-10-08T15:36:52Z)
• An Adversarial Human Pose Estimation Network Injected with Graph Structure [75.08618278188209]
  本稿では,いくつかの関節が見えない場合に,可視関節の局所化精度を向上させるために,新しいGAN(Generative Adversarial Network)を設計する。 ネットワークは、2つのシンプルで効率的なモジュール、カスケード機能ネットワーク(CFN)とグラフ構造ネットワーク(GSN)で構成されています。
  論文  参考訳（メタデータ） (2021-03-29T12:07:08Z)
• Investigating and Mitigating Degree-Related Biases in Graph Convolutional Networks [62.8504260693664]
  グラフ畳み込みネットワーク(GCN)は、グラフ上の半教師付き学習タスクに対して有望な結果を示す。 本稿では,ノード次数分布に関するGCNを解析する。 本稿では,GCNの次数バイアスを緩和する自己監督型DegreeSpecific GCN(SL-DSGC)を開発した。
  論文  参考訳（メタデータ） (2020-06-28T16:26:47Z)
• A Self-Attention Network based Node Embedding Model [17.10479440152652]
  新規な教師なし埋め込みモデルであるSANNEを提案する。 我々のSANNEは、現在のノードだけでなく、新しく見つからないノードにも、プラルーシブルな埋め込みを生成することを目的としています。 実験の結果,提案したSANNEはノード分類タスクの最先端結果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-06-22T09:46:10Z)
• Scattering GCN: Overcoming Oversmoothness in Graph Convolutional Networks [0.0]
  グラフ畳み込みネットワーク(GCN)は,構造認識の特徴を抽出することによって,グラフデータ処理において有望な結果を示した。 本稿では、幾何学的散乱変換と残差畳み込みによる従来のGCNの増大を提案する。 前者はグラフ信号の帯域通過フィルタリングが可能であり、GCNでしばしば発生する過度な過度な処理を緩和する。
  論文  参考訳（メタデータ） (2020-03-18T18:03:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。