論文の概要: Reducing Over-smoothing in Graph Neural Networks Using Relational Embeddings

• arxiv url: http://arxiv.org/abs/2301.02924v1
• Date: Sat, 7 Jan 2023 19:26:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-10 15:56:32.053669
• Title: Reducing Over-smoothing in Graph Neural Networks Using Relational Embeddings
• Title（参考訳）: リレーショナル埋め込みを用いたグラフニューラルネットワークの過平滑化低減
• Authors: Yeskendir Koishekenov
• Abstract要約: 本稿では,GNNにおけるオーバー・スムーシング問題の影響を緩和する,シンプルで効率的な手法を提案する。 我々の手法は他の手法と組み合わせて最高の性能を与えることができる。
• 参考スコア（独自算出の注目度）: 0.15619750966454563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have achieved a lot of success with graph-structured data. However, it is observed that the performance of GNNs does not improve (or even worsen) as the number of layers increases. This effect has known as over-smoothing, which means that the representations of the graph nodes of different classes would become indistinguishable when stacking multiple layers. In this work, we propose a new simple, and efficient method to alleviate the effect of the over-smoothing problem in GNNs by explicitly using relations between node embeddings. Experiments on real-world datasets demonstrate that utilizing node embedding relations makes GNN models such as Graph Attention Network more robust to over-smoothing and achieves better performance with deeper GNNs. Our method can be used in combination with other methods to give the best performance. GNN applications are endless and depend on the user's objective and the type of data that they possess. Solving over-smoothing issues can potentially improve the performance of models on all these tasks.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造化データで大きな成功を収めています。 しかし,GNNの性能は層数の増加とともに向上しない(あるいはさらに悪化する)ことが観察された。 この効果はオーバー・スムーシング(over-smoothing)として知られており、複数の層を積み重ねると、異なるクラスのグラフノードの表現が区別不能になることを意味する。 本研究では,ノード埋め込み間の関係を明示的に利用することにより,GNNにおけるオーバースムーシング問題の影響を緩和する,シンプルで効率的な手法を提案する。 実世界のデータセットの実験では、ノードの埋め込み関係を利用することで、グラフアテンションネットワークのようなGNNモデルが過度にスムースに堅牢になり、より深いGNNでより良いパフォーマンスを実現することが示されている。 我々の手法は他の手法と組み合わせて最高の性能を与えることができる。 GNNアプリケーションは無限に存在し、ユーザーの目的や保有するデータの種類に依存します。 余計な問題を解くことで、これらのタスクでモデルのパフォーマンスが向上する可能性がある。

関連論文リスト

• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• Simple yet Effective Gradient-Free Graph Convolutional Networks [20.448409424929604]
  近年,グラフ表現学習において線形化グラフニューラルネットワーク (GNN) が注目されている。 本稿では,過度な平滑化と消失する勾配現象を関連づけ,勾配のないトレーニングフレームワークを構築する。 提案手法は, ノード分類タスクにおいて, 深度や訓練時間を大幅に短縮して, より優れた, より安定した性能を実現する。
  論文  参考訳（メタデータ） (2023-02-01T11:00:24Z)
• A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
  数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。 本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-16T22:46:33Z)
• Learning heterophilious edge to drop: A general framework for boosting graph neural networks [19.004710957882402]
  本研究は, グラフ構造を最適化することにより, ヘテロフィリの負の影響を緩和することを目的とする。 LHEと呼ばれる構造学習手法を提案する。 emphLHEによるGNNの性能改善は, ホモフィリレベルの全スペクトルにわたる複数のデータセットで実証された。
  論文  参考訳（メタデータ） (2022-05-23T14:07:29Z)
• Exploiting Neighbor Effect: Conv-Agnostic GNNs Framework for Graphs with Heterophily [58.76759997223951]
  我々はフォン・ノイマンエントロピーに基づく新しい計量を提案し、GNNのヘテロフィリー問題を再検討する。 また、異種データセット上でのほとんどのGNNの性能を高めるために、Conv-Agnostic GNNフレームワーク(CAGNN)を提案する。
  論文  参考訳（メタデータ） (2022-03-19T14:26:43Z)
• EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
  グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。 この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。 EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-02-22T08:16:58Z)
• Boost then Convolve: Gradient Boosting Meets Graph Neural Networks [6.888700669980625]
  グラデーションブースト決定木(gbdt)は,異種データに対して他の機械学習手法よりも優れていることが示されている。 我々は,gbdt と gnn を共同で訓練し,両世界のベストを勝ち取る新しいアーキテクチャを提案する。 我々のモデルは、GNNの勾配更新に新しい木を適合させることにより、エンドツーエンドの最適化の恩恵を受ける。
  論文  参考訳（メタデータ） (2021-01-21T10:46:41Z)
• Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。 最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。 本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
  論文  参考訳（メタデータ） (2020-11-19T06:03:35Z)
• Multi-grained Semantics-aware Graph Neural Networks [13.720544777078642]
  グラフニューラルネットワーク(GNN)は、グラフの表現学習において強力な技術である。 本研究では,ノードとグラフ表現を対話的に学習する統合モデルAdamGNNを提案する。 14の実世界のグラフデータセットに対する実験により、AdamGNNはノードとグラフの両方のタスクにおいて17の競合するモデルを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2020-10-01T07:52:06Z)
• Towards Deeper Graph Neural Networks with Differentiable Group Normalization [61.20639338417576]
  グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。 オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。 2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
  論文  参考訳（メタデータ） (2020-06-12T07:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。