論文の概要: On the Global Self-attention Mechanism for Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2010.10711v1
• Date: Wed, 21 Oct 2020 02:09:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 23:07:16.007047
• Title: On the Global Self-attention Mechanism for Graph Convolutional Networks
• Title（参考訳）: グラフ畳み込みネットワークのグローバル自己注意機構について
• Authors: Chen Wang and Chengyuan Deng
• Abstract要約: グラフ畳み込みネットワーク(GCN)におけるグローバル自己意識機構の影響について検討する。 直感と一致して、GCNはエッジ接続によらず特徴に基づく関係を捉えることができる。 我々はGSA機構が最近の技術的発展に基づいて過度に適合する問題と過度にスムースな問題の両方を軽減することができることを証明した。
• 参考スコア（独自算出の注目度）: 4.407800748025345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Applying Global Self-attention (GSA) mechanism over features has achieved remarkable success on Convolutional Neural Networks (CNNs). However, it is not clear if Graph Convolutional Networks (GCNs) can similarly benefit from such a technique. In this paper, inspired by the similarity between CNNs and GCNs, we study the impact of the Global Self-attention mechanism on GCNs. We find that consistent with the intuition, the GSA mechanism allows GCNs to capture feature-based vertex relations regardless of edge connections; As a result, the GSA mechanism can introduce extra expressive power to the GCNs. Furthermore, we analyze the impacts of the GSA mechanism on the issues of overfitting and over-smoothing. We prove that the GSA mechanism can alleviate both the overfitting and the over-smoothing issues based on some recent technical developments. Experiments on multiple benchmark datasets illustrate both superior expressive power and less significant overfitting and over-smoothing problems for the GSA-augmented GCNs, which corroborate the intuitions and the theoretical results.
• Abstract（参考訳）: 機能に対するグローバル自己注意(GSA)メカニズムの適用は、畳み込みニューラルネットワーク(CNN)において大きな成功を収めた。 しかし、グラフ畳み込みネットワーク(gcns)が同様の手法の恩恵を受けるかどうかは明らかではない。 本稿では,CNNとGCNの類似性から着想を得て,グローバル自己保持機構がGCNに与える影響について検討する。 直観と一致して、gsa機構により、gcnはエッジ接続に関係なく機能ベースの頂点関係を捉えることができ、その結果、gsa機構はgcnに余分な表現力をもたらすことができる。 さらに,GSA機構が過度に適合する問題や過度にスムースな問題に与える影響を解析した。 我々はGSA機構が最近の技術的発展に基づいて過度な適合と過度にスムースな問題を緩和できることを証明した。 複数のベンチマークデータセットの実験では、直観と理論的な結果を裏付けるGSA増強GCNの優れた表現力と過度な過度な過度なオーバーフィットと過度なスムースな問題の両方が示されている。

関連論文リスト

• Unleashing the potential of GNNs via Bi-directional Knowledge Transfer [58.64807174714959]
  Bi-directional Knowledge Transfer (BiKT) は、オリジナルのアーキテクチャを変更することなく、機能変換操作の可能性を解き放つためのプラグイン・アンド・プレイ方式である。 BiKTはオリジナルのGNNよりも0.5%-4%パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-26T04:11:49Z)
• Demystifying Oversmoothing in Attention-Based Graph Neural Networks [23.853636836842604]
  グラフニューラルネットワーク(GNN)におけるオーバースムーシング(Oversmoothing in Graph Neural Networks)とは、ネットワーク深度の増加がノードの均質表現につながる現象である。 これまでの研究により、グラフ畳み込みネットワーク(GCN)は指数関数的に表現力を失うことが判明した。 グラフアテンション機構が過剰なスムースを緩和できるかどうかはまだ議論の余地がある。
  論文  参考訳（メタデータ） (2023-05-25T14:31:59Z)
• EvenNet: Ignoring Odd-Hop Neighbors Improves Robustness of Graph Neural Networks [51.42338058718487]
  グラフニューラルネットワーク(GNN)は、グラフ機械学習における有望なパフォーマンスについて、広範な研究の注目を集めている。 GCNやGPRGNNのような既存のアプローチは、テストグラフ上のホモフィリな変化に直面しても堅牢ではない。 偶数多項式グラフフィルタに対応するスペクトルGNNであるEvenNetを提案する。
  論文  参考訳（メタデータ） (2022-05-27T10:48:14Z)
• Multi-scale Graph Convolutional Networks with Self-Attention [2.66512000865131]
  グラフ畳み込みネットワーク(GCN)は,様々なグラフ構造データを扱うための優れた学習能力を実現している。 GCNsの重要な問題として, 過平滑化現象が解決され, 検討が続けられている。 本稿では,GCNの設計に自己認識機構とマルチスケール情報を取り入れた2つの新しいマルチスケールGCNフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-04T04:41:24Z)
• Graph Partner Neural Networks for Semi-Supervised Learning on Graphs [16.489177915147785]
  グラフ畳み込みネットワーク(GCN)は、グラフ構造化データを処理するのに強力であり、ノード分類、リンク予測、グラフ分類などのタスクで最先端のパフォーマンスを達成した。 グラフ畳み込み処理を繰り返した後にノードの表現が区別できない傾向にあるため、深いGCNが過度に滑らかな問題に悩まされることは避けられない。 本稿では,非パラメータ化GCNとパラメータ共有スキームを組み合わせたグラフパートナーニューラルネットワーク(GPNN)を提案する。
  論文  参考訳（メタデータ） (2021-10-18T10:56:56Z)
• I-GCN: Robust Graph Convolutional Network via Influence Mechanism [3.3504365823045035]
  近年の研究では、グラフ畳み込みネットワーク(gcns)が逆摂動に苦しむことが示されている。 本稿では,GCNのロバスト性を大幅に向上させるメカニズムであるインフルエンス機構を提案する。 提案モデルは,非標的攻撃に対する防御において,最先端手法よりも高い精度を実現することができる。
  論文  参考訳（メタデータ） (2020-12-11T04:03:15Z)
• AM-GCN: Adaptive Multi-channel Graph Convolutional Networks [85.0332394224503]
  グラフ畳み込みネットワーク(GCN)は,豊富な情報を持つ複雑なグラフにおいて,ノードの特徴と位相構造を最適に統合できるかどうかを検討する。 半教師付き分類(AM-GCN)のための適応型マルチチャネルグラフ畳み込みネットワークを提案する。 実験の結果,AM-GCNはノードの特徴とトポロジ的構造の両方から最も相関性の高い情報を抽出することがわかった。
  論文  参考訳（メタデータ） (2020-07-05T08:16:03Z)
• When Does Self-Supervision Help Graph Convolutional Networks? [118.37805042816784]
  自己スーパービジョンは、画像のより転送可能で一般化可能で堅牢な表現学習のために、畳み込みニューラルネットワーク(CNN)を訓練するために採用されている。 本研究では,グラフ畳み込みネットワーク(GCN)に自己超越を取り入れた最初の体系的探索について報告する。 その結果、適切に設計されたタスク形式と構成機構により、より一般化性と堅牢性を得る上で、自己スーパービジョンはGCNに恩恵をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2020-06-16T13:29:48Z)
• DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
  グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。 非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。 本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
  論文  参考訳（メタデータ） (2020-06-13T23:00:22Z)
• Infinitely Wide Graph Convolutional Networks: Semi-supervised Learning via Gaussian Processes [144.6048446370369]
  グラフ畳み込みニューラルネットワーク(GCN)は近年,グラフに基づく半教師付き半教師付き分類において有望な結果を示した。 グラフに基づく半教師付き学習のためのGCN(GPGC)を用いたGP回帰モデルを提案する。 GPGCを評価するための広範囲な実験を行い、他の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-02-26T10:02:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。