論文の概要: Feature Overcorrelation in Deep Graph Neural Networks: A New Perspective

• arxiv url: http://arxiv.org/abs/2206.07743v1
• Date: Wed, 15 Jun 2022 18:13:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 14:04:52.427386
• Title: Feature Overcorrelation in Deep Graph Neural Networks: A New Perspective
• Title（参考訳）: ディープグラフニューラルネットにおける特徴過剰相関:新しい視点
• Authors: Wei Jin, Xiaorui Liu, Yao Ma, Charu Aggarwal, Jiliang Tang
• Abstract要約: オーバースムーシングは、深いGNNの性能を制限する重要な問題の1つとして特定されている。 本稿では, 深部GNNの性能劣化, すなわち, 機能の過度な相関について考察する。 特徴相関を低減するために,GNNが冗長な情報をエンコードすることを促進できる汎用フレームワークであるDeCorrを提案する。
• 参考スコア（独自算出の注目度）: 44.96635754139024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have witnessed remarkable success achieved by graph neural networks (GNNs) in many real-world applications such as recommendation and drug discovery. Despite the success, oversmoothing has been identified as one of the key issues which limit the performance of deep GNNs. It indicates that the learned node representations are highly indistinguishable due to the stacked aggregators. In this paper, we propose a new perspective to look at the performance degradation of deep GNNs, i.e., feature overcorrelation. Through empirical and theoretical study on this matter, we demonstrate the existence of feature overcorrelation in deeper GNNs and reveal potential reasons leading to this issue. To reduce the feature correlation, we propose a general framework DeCorr which can encourage GNNs to encode less redundant information. Extensive experiments have demonstrated that DeCorr can help enable deeper GNNs and is complementary to existing techniques tackling the oversmoothing issue.
• Abstract（参考訳）: 近年、レコメンデーションや薬物発見など多くの現実世界の応用においてグラフニューラルネットワーク(GNN)によって達成された顕著な成功を目の当たりにしている。 この成功にもかかわらず、深いGNNのパフォーマンスを制限する重要な問題の1つとして、過剰なスムーシングが特定されている。 これは、学習ノード表現が、積み重ねアグリゲータのため、非常に区別できないことを示している。 本稿では,ディープgnn,すなわち特徴過剰相関の性能劣化を調べるための新しい視点を提案する。 この問題に関する実証的および理論的研究を通じて、より深いGNNにおける特徴過剰相関の存在を実証し、この問題に繋がる潜在的な理由を明らかにする。 特徴相関を低減するために,GNNが冗長な情報をエンコードすることを促進できる汎用フレームワークDeCorrを提案する。 大規模な実験により、DeCorrはより深いGNNを可能にし、過度な問題に取り組む既存のテクニックを補完することを示した。

関連論文リスト

• When Graph Neural Network Meets Causality: Opportunities, Methodologies and An Outlook [23.45046265345568]
  グラフニューラルネットワーク(GNN)は、さまざまなグラフ構造化データ内の複雑な依存関係をキャプチャする強力な表現学習ツールとして登場した。 GNNは、分布シフトへの感受性、特定の人口への偏見、説明責任の欠如など、信頼性に関する深刻な懸念を提起している。 因果学習技術をGNNに統合することは、多くのGNNの信頼性の問題を軽減することができるため、多くの画期的な研究を引き起こしている。
  論文  参考訳（メタデータ） (2023-12-19T13:26:14Z)
• ELEGANT: Certified Defense on the Fairness of Graph Neural Networks [94.10433608311604]
  グラフニューラルネットワーク(GNN)は,グラフベースのタスクにおいて,目立ったグラフ学習モデルとして登場した。 悪意のある攻撃者は、入力グラフデータに摂動を追加することで、予測の公平度を容易に損なうことができる。 本稿では, ELEGANT というフレームワークを提案し, GNN の公正度レベルにおける認証防御の新たな課題について検討する。
  論文  参考訳（メタデータ） (2023-11-05T20:29:40Z)
• Bregman Graph Neural Network [27.64062763929748]
  ノード分類タスクでは、GNNによって誘導される滑らか化効果は、連結ノードの表現と過剰な均質化ラベルを同化する傾向がある。 本稿では,Bregman 距離の概念に触発された GNN のための新しい二段階最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-12T23:54:24Z)
• Information Flow in Graph Neural Networks: A Clinical Triage Use Case [49.86931948849343]
  グラフニューラルネットワーク(GNN)は、マルチモーダルグラフとマルチリレーショナルグラフを処理する能力によって、医療やその他の領域で人気を集めている。 GNNにおける埋め込み情報のフローが知識グラフ(KG)におけるリンクの予測に与える影響について検討する。 以上の結果から,ドメイン知識をGNN接続に組み込むことで,KGと同じ接続を使用する場合や,制約のない埋め込み伝搬を行う場合よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-09-12T09:18:12Z)
• Towards Deep Attention in Graph Neural Networks: Problems and Remedies [15.36416000750147]
  グラフニューラルネットワーク(GNN)はグラフ構造化データの表現を学習し、その表現性は伝播のためのノード関係を推論することによって向上することができる。 本稿では,過度に平滑な特徴に対する脆弱性やスムーズな累積的注意など,グラフの深い注意に関連するいくつかの問題現象について検討する。 AEROGNNはグラフの注目度を高めるために設計された新しいGNNアーキテクチャである。
  論文  参考訳（メタデータ） (2023-06-04T15:19:44Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• Addressing Over-Smoothing in Graph Neural Networks via Deep Supervision [13.180922099929765]
  ディープグラフニューラルネットワーク(GNN)は、層数が増加すると過度に滑らかになる。 本研究では,すべての層で学習した表現を訓練に利用するDSGNNを提案する。 DSGNNは過度に平滑であり,ノードおよびグラフ特性予測問題における競合ベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-25T06:05:55Z)
• Jointly Attacking Graph Neural Network and its Explanations [50.231829335996814]
  グラフニューラルネットワーク(GNN)は多くのグラフ関連タスクのパフォーマンスを向上した。 近年の研究では、GNNは敵の攻撃に対して非常に脆弱であることが示されており、敵はグラフを変更することでGNNの予測を誤認することができる。 本稿では、GNNモデルとその説明の両方を同時に利用して攻撃できる新しい攻撃フレームワーク(GEAttack)を提案する。
  論文  参考訳（メタデータ） (2021-08-07T07:44:33Z)
• Attentive Graph Neural Networks for Few-Shot Learning [74.01069516079379]
  グラフニューラルネットワーク(GNN)は、数ショットの学習タスクを含む多くの困難なアプリケーションにおいて、優れたパフォーマンスを示している。 少数のサンプルからモデルを学習し、一般化する能力があるにもかかわらず、GNNは通常、モデルが深くなるにつれて、過度な過度な適合と過度なスムーシングに悩まされる。 本稿では,三重注意機構を組み込むことにより,これらの課題に対処するための新しい注意型GNNを提案する。
  論文  参考訳（メタデータ） (2020-07-14T07:43:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。