Fugu-MT 論文翻訳(概要): Addressing Over-Smoothing in Graph Neural Networks via Deep Supervision

論文の概要: Addressing Over-Smoothing in Graph Neural Networks via Deep Supervision

arxiv url: http://arxiv.org/abs/2202.12508v1
Date: Fri, 25 Feb 2022 06:05:55 GMT
ステータス: 処理完了
システム内更新日: 2022-02-28 15:22:13.184922
Title: Addressing Over-Smoothing in Graph Neural Networks via Deep Supervision
Title（参考訳）: 深層監視によるグラフニューラルネットワークのオーバースムーシングへの取り組み
Authors: Pantelis Elinas, Edwin V. Bonilla
Abstract要約: ディープグラフニューラルネットワーク(GNN)は、層数が増加すると過度に滑らかになる。本研究では,すべての層で学習した表現を訓練に利用するDSGNNを提案する。 DSGNNは過度に平滑であり,ノードおよびグラフ特性予測問題における競合ベンチマークよりも優れていることを示す。
参考スコア（独自算出の注目度）: 13.180922099929765
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Learning useful node and graph representations with graph neural networks (GNNs) is a challenging task. It is known that deep GNNs suffer from over-smoothing where, as the number of layers increases, node representations become nearly indistinguishable and model performance on the downstream task degrades significantly. To address this problem, we propose deeply-supervised GNNs (DSGNNs), i.e., GNNs enhanced with deep supervision where representations learned at all layers are used for training. We show empirically that DSGNNs are resilient to over-smoothing and can outperform competitive benchmarks on node and graph property prediction problems.
Abstract（参考訳）: グラフニューラルネットワーク(GNN)を用いた有用なノードとグラフ表現の学習は難しい課題である。ディープGNNは、層数が増加するにつれてノード表現がほとんど区別不能になり、下流タスクのモデル性能が著しく低下する、過度なスムーシングに悩まされることが知られている。この問題に対処するために,全層で学習した表現をトレーニングに使用する深層監視により強化した深層監視型GNN(DSGNN)を提案する。 DSGNNは過度なスムース化に耐性があり、ノードやグラフプロパティの予測問題における競合ベンチマークよりも優れていることを示す。

関連論文リスト

Information Flow in Graph Neural Networks: A Clinical Triage Use Case [49.86931948849343]
グラフニューラルネットワーク(GNN)は、マルチモーダルグラフとマルチリレーショナルグラフを処理する能力によって、医療やその他の領域で人気を集めている。 GNNにおける埋め込み情報のフローが知識グラフ(KG)におけるリンクの予測に与える影響について検討する。以上の結果から,ドメイン知識をGNN接続に組み込むことで,KGと同じ接続を使用する場合や,制約のない埋め込み伝搬を行う場合よりも優れた性能が得られることが示された。
論文参考訳（メタデータ） (2023-09-12T09:18:12Z)
Towards Deep Attention in Graph Neural Networks: Problems and Remedies [15.36416000750147]
グラフニューラルネットワーク(GNN)はグラフ構造化データの表現を学習し、その表現性は伝播のためのノード関係を推論することによって向上することができる。本稿では,過度に平滑な特徴に対する脆弱性やスムーズな累積的注意など,グラフの深い注意に関連するいくつかの問題現象について検討する。 AEROGNNはグラフの注目度を高めるために設計された新しいGNNアーキテクチャである。
論文参考訳（メタデータ） (2023-06-04T15:19:44Z)
LazyGNN: Large-Scale Graph Neural Networks via Lazy Propagation [51.552170474958736]
グラフ表現学習においてより効率的なモデルであるLazyGNNを実現するために,より深いモデルではなく,より浅いモデルによってグラフの長距離依存性をキャプチャすることを提案する。 LazyGNNは、ミニバッチのLazyGNNの開発を通じてさらに加速するために、既存のスケーラブルなアプローチ(サンプリング方法など)と互換性がある。総合的な実験は、大規模なベンチマークで優れた予測性能とスケーラビリティを示す。
論文参考訳（メタデータ） (2023-02-03T02:33:07Z)
Distributed Graph Neural Network Training: A Survey [51.77035975191926]
グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。 GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
論文参考訳（メタデータ） (2022-11-01T01:57:00Z)
Feature Overcorrelation in Deep Graph Neural Networks: A New Perspective [44.96635754139024]
オーバースムーシングは、深いGNNの性能を制限する重要な問題の1つとして特定されている。本稿では, 深部GNNの性能劣化, すなわち, 機能の過度な相関について考察する。特徴相関を低減するために,GNNが冗長な情報をエンコードすることを促進できる汎用フレームワークであるDeCorrを提案する。
論文参考訳（メタデータ） (2022-06-15T18:13:52Z)
CAP: Co-Adversarial Perturbation on Weights and Features for Improving Generalization of Graph Neural Networks [59.692017490560275]
敵の訓練は、敵の攻撃に対するモデルの堅牢性を改善するために広く実証されてきた。グラフ解析問題におけるGNNの一般化能力をどのように改善するかは、まだ不明である。我々は、重みと特徴量の観点から共振器摂動(CAP)最適化問題を構築し、重みと特徴の損失を交互に平らにする交互対振器摂動アルゴリズムを設計する。
論文参考訳（メタデータ） (2021-10-28T02:28:13Z)
Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-06-07T15:05:59Z)
AutoGraph: Automated Graph Neural Network [45.94642721490744]
本稿では,ディープグラフニューラルネットワーク(GNN)の設計を自動化する手法を提案する。提案手法では,機能再利用を促進するために,新しいタイプのスキップ接続をGNNs検索空間に追加する。また、進化的アルゴリズムにより、進化中のGNNの層を増大させ、より深いネットワークを生成することができる。
論文参考訳（メタデータ） (2020-11-23T09:04:17Z)
Attentive Graph Neural Networks for Few-Shot Learning [74.01069516079379]
グラフニューラルネットワーク(GNN)は、数ショットの学習タスクを含む多くの困難なアプリケーションにおいて、優れたパフォーマンスを示している。少数のサンプルからモデルを学習し、一般化する能力があるにもかかわらず、GNNは通常、モデルが深くなるにつれて、過度な過度な適合と過度なスムーシングに悩まされる。本稿では,三重注意機構を組み込むことにより,これらの課題に対処するための新しい注意型GNNを提案する。
論文参考訳（メタデータ） (2020-07-14T07:43:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。