論文の概要: Structure-Aware DropEdge Towards Deep Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2306.12091v1
• Date: Wed, 21 Jun 2023 08:11:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 14:18:02.788531
• Title: Structure-Aware DropEdge Towards Deep Graph Convolutional Networks
• Title（参考訳）: ディープグラフ畳み込みネットワークへの構造認識ドロップエッジ
• Authors: Jiaqi Han, Wenbing Huang, Yu Rong, Tingyang Xu, Fuchun Sun, Junzhou Huang
• Abstract要約: グラフ畳み込みネットワーク(GCN)は、複数のレイヤが積み重なると、パフォーマンスが著しく低下する。 オーバースムーシングは、入力からのネットワーク出力を、ネットワーク深さの増加、表現率の低下、およびトレーニング容易性によって分離する。 我々はDropEdgeの洗練された対策について検討する。
• 参考スコア（独自算出の注目度）: 83.38709956935095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It has been discovered that Graph Convolutional Networks (GCNs) encounter a remarkable drop in performance when multiple layers are piled up. The main factor that accounts for why deep GCNs fail lies in over-smoothing, which isolates the network output from the input with the increase of network depth, weakening expressivity and trainability. In this paper, we start by investigating refined measures upon DropEdge -- an existing simple yet effective technique to relieve over-smoothing. We term our method as DropEdge++ for its two structure-aware samplers in contrast to DropEdge: layer-dependent sampler and feature-dependent sampler. Regarding the layer-dependent sampler, we interestingly find that increasingly sampling edges from the bottom layer yields superior performance than the decreasing counterpart as well as DropEdge. We theoretically reveal this phenomenon with Mean-Edge-Number (MEN), a metric closely related to over-smoothing. For the feature-dependent sampler, we associate the edge sampling probability with the feature similarity of node pairs, and prove that it further correlates the convergence subspace of the output layer with the input features. Extensive experiments on several node classification benchmarks, including both full- and semi- supervised tasks, illustrate the efficacy of DropEdge++ and its compatibility with a variety of backbones by achieving generally better performance over DropEdge and the no-drop version.
• Abstract（参考訳）: グラフ畳み込みネットワーク (graph convolutional networks, gcns) は、複数の層が積み重ねられたときに性能が著しく低下することを発見した。 ディープGCNがフェールする主な要因は、ネットワーク深さの増加、表現率の低下、トレーニング容易性の低下によって入力からネットワーク出力を分離するオーバースムーシングにある。 本稿では,従来の単純かつ効果的な手法であるドロップエッジの精巧な対策について検討することから始める。 我々はDropEdge++をDropEdge++と呼ぶが、DropEdgeとは対照的に、レイヤ依存のサンプルと機能依存のサンプルである。 層依存型サンプリング器については,下層からのエッジのサンプリングが増加すれば,下層よりも性能が向上する傾向がみられた。 我々は, この現象を, オーバー・スムーシングと密接な関係を持つメアン・エッジ・ナンバー(MEN)で理論的に明らかにする。 特徴依存型サンプリング器では,エッジサンプリング確率とノード対の特徴類似性を関連付け,出力層の収束部分空間と入力特徴との相関性を示す。 フルおよびセミ教師付きタスクを含むいくつかのノード分類ベンチマークに関する広範な実験では、dropedge++の有効性とさまざまなバックボーンとの互換性が、dropedgeおよびno-dropバージョンよりも一般的に優れたパフォーマンスを実現している。

関連論文リスト

• ADEdgeDrop: Adversarial Edge Dropping for Robust Graph Neural Networks [53.41164429486268]
  グラフニューラルネットワーク(GNN)は、近隣ノードからグラフ構造化情報を収集する強力な能力を示した。 GNNの性能は、ノイズや冗長なグラフデータによって引き起こされる一般化の貧弱さと脆弱な堅牢性によって制限される。 本稿では,エッジの除去を誘導する対向エッジ予測器を利用する新しい対向エッジドロップ法 (ADEdgeDrop) を提案する。
  論文  参考訳（メタデータ） (2024-03-14T08:31:39Z)
• Edge-Aware Mirror Network for Camouflaged Object Detection [5.032585246295627]
  エッジ検出と擬似オブジェクトセグメンテーションをモデル化する新しいエッジ対応ミラーネットワーク(EAMNet)を提案する。 EAMNetは2分岐アーキテクチャを持ち、セグメンテーションによるエッジアグリゲーションモジュールとエッジによる完全アグリゲーションモジュールがセグメンテーションブランチとエッジ検出ブランチをクロスガイドするように設計されている。 実験の結果,EAMNetは3つの広く使用されているCODデータセットにおいて,既存の最先端ベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-07-08T08:14:49Z)
• Finding Heterophilic Neighbors via Confidence-based Subgraph Matching for Semi-supervised Node Classification [1.3190581566723918]
  グラフニューラルネットワーク(GNN)は多くのグラフベースのアプリケーションで強力であることが証明されている。 しかし、それらはヘテロ親和的な設定でうまく一般化することができない。
  論文  参考訳（メタデータ） (2023-02-20T04:23:34Z)
• Refined Edge Usage of Graph Neural Networks for Edge Prediction [51.06557652109059]
  We propose a novel edge prediction paradigm named Edge-aware Message PassIng neuRal nEtworks (EMPIRE)。 まず,各エッジをトポロジや監督のためにのみ使用するエッジ分割手法を提案する。 監視エッジで接続されたペアと接続されていないペアの差を強調するために、さらにメッセージを重み付けして、その差を反映できる相対的なペアを強調します。
  論文  参考訳（メタデータ） (2022-12-25T23:19:56Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Joint Multi-Dimension Pruning via Numerical Gradient Update [120.59697866489668]
  本稿では,空間,深さ,チャネルの3つの重要な側面において,ネットワークを同時に切断する方法であるジョイント・マルチディメンジョン・プルーニング(ジョイント・プルーニング)を提案する。 本手法は,1つのエンドツーエンドトレーニングにおいて3次元にわたって協調的に最適化され,従来よりも効率がよいことを示す。
  論文  参考訳（メタデータ） (2020-05-18T17:57:09Z)
• DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
  本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。 遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。 画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
  論文  参考訳（メタデータ） (2020-03-30T17:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。