論文の概要: Alleviating Over-Smoothing via Aggregation over Compact Manifolds

• arxiv url: http://arxiv.org/abs/2407.19231v1
• Date: Sat, 27 Jul 2024 11:02:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 19:11:23.409250
• Title: Alleviating Over-Smoothing via Aggregation over Compact Manifolds
• Title（参考訳）: コンパクト多様体上の凝集による過平滑化の軽減
• Authors: Dongzhuoran Zhou, Hui Yang, Bo Xiong, Yue Ma, Evgeny Kharlamov,
• Abstract要約: グラフニューラルネットワーク(GNN)は様々なアプリケーションで大きな成功を収めている。 ほとんどのGNNは、隣人の情報収集と各レイヤの機能変換によってノードの特徴を学習する。 しかし、ノード機能は多くのレイヤの後に区別不能になり、パフォーマンスが劣化する。
• 参考スコア（独自算出の注目度）: 19.559230417122826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) have achieved significant success in various applications. Most GNNs learn the node features with information aggregation of its neighbors and feature transformation in each layer. However, the node features become indistinguishable after many layers, leading to performance deterioration: a significant limitation known as over-smoothing. Past work adopted various techniques for addressing this issue, such as normalization and skip-connection of layer-wise output. After the study, we found that the information aggregations in existing work are all contracted aggregations, with the intrinsic property that features will inevitably converge to the same single point after many layers. To this end, we propose the aggregation over compacted manifolds method (ACM) that replaces the existing information aggregation with aggregation over compact manifolds, a special type of manifold, which avoids contracted aggregations. In this work, we theoretically analyze contracted aggregation and its properties. We also provide an extensive empirical evaluation that shows ACM can effectively alleviate over-smoothing and outperforms the state-of-the-art. The code can be found in https://github.com/DongzhuoranZhou/ACM.git.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は様々なアプリケーションで大きな成功を収めている。 ほとんどのGNNは、隣人の情報収集と各レイヤの機能変換によってノードの特徴を学習する。 しかし、ノードの機能は多くのレイヤの後に区別不能になり、パフォーマンスが劣化する。 過去の研究では、レイヤワイド出力の正規化やスキップ接続など、この問題に対処する様々な手法が採用されている。 研究の結果、既存の作業における情報集約は、すべて収縮した集約であり、特徴が複数のレイヤーの後に必然的に同じ単一点に収束するという本質的な性質を持つことがわかった。 そこで本研究では, コンパクト多様体上のアグリゲーションに代えて, 制約付きアグリゲーションを回避する, コンパクト多様体上のアグリゲーションに代えて, コンパクトなアグリゲーション法(ACM)を用いたアグリゲーションを提案する。 本研究では,契約集約とその特性を理論的に解析する。 また,ACMが過度なスムース化を効果的に軽減し,最先端技術より優れていることを示す実験的な評価も行った。 コードはhttps://github.com/DongzhuoranZhou/ACM.gitにある。

関連論文リスト

• Sequential Signal Mixing Aggregation for Message Passing Graph Neural Networks [2.7719338074999547]
  本稿では,MPGNNのための新しいプラグ・アンド・プレイアグリゲーションであるSSMA(Sequential Signal Mixing Aggregation)を紹介する。 SSMAは隣接する特徴を2次元の離散的な信号として扱い、それらを連続的に結合させ、本質的に隣り合った特徴を混合する能力を増強する。 SSMAとよく確立されたMPGNNアーキテクチャを組み合わせると、様々なベンチマークでかなりの性能向上が達成できることを示す。
  論文  参考訳（メタデータ） (2024-09-28T17:13:59Z)
• AGNN: Alternating Graph-Regularized Neural Networks to Alleviate Over-Smoothing [29.618952407794776]
  グラフ畳み込み層(GCL)とグラフ埋め込み層(GEL)からなる交代グラフ正規化ニューラルネットワーク(AGNN)を提案する。 GELはラプラシアン埋め込み項を含むグラフ正規化最適化から導かれる。 AGNNは、いくつかの多層または多次グラフニューラルネットワークのパフォーマンス比較を含む、多数の実験を通じて評価されている。
  論文  参考訳（メタデータ） (2023-04-14T09:20:03Z)
• FMGNN: Fused Manifold Graph Neural Network [102.61136611255593]
  グラフ表現学習は、様々なグラフタスクにおいて広く研究され、効果が実証されている。 本稿では,異なるマニフォールドにグラフを埋め込む新しいGNNアーキテクチャであるFused Manifold Graph Neural Network (NN)を提案する。 提案実験により,NNはノード分類およびリンク予測タスクのベンチマークにおいて,強いベースラインよりも優れた性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-04-03T15:38:53Z)
• Feature Aggregation and Propagation Network for Camouflaged Object Detection [42.33180748293329]
  カモフラージュされたオブジェクト検出(COD)は、環境に埋め込まれたカモフラージュされたオブジェクトを検出し、分離することを目的としている。 いくつかのCOD法が開発されているが, 前景オブジェクトと背景環境との固有の類似性により, 依然として不満足な性能に悩まされている。 カモフラージュされた物体検出のための新しい特徴集約・伝播ネットワーク(FAP-Net)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:54:28Z)
• Multi-scale Feature Aggregation for Crowd Counting [84.45773306711747]
  マルチスケール特徴集約ネットワーク(MSFANet)を提案する。 MSFANetは、ショートアグリゲーション(ShortAgg)とスキップアグリゲーション(SkipAgg)の2つの機能アグリゲーションモジュールで構成されている。
  論文  参考訳（メタデータ） (2022-08-10T10:23:12Z)
• Attention-driven Graph Clustering Network [49.040136530379094]
  我々は、注意駆動グラフクラスタリングネットワーク(AGCN)という新しいディープクラスタリング手法を提案する。 AGCNは、ノード属性特徴とトポロジグラフ特徴を動的に融合するために、不均一な融合モジュールを利用する。 AGCNは、教師なしの方法で特徴学習とクラスタ割り当てを共同で行うことができる。
  論文  参考訳（メタデータ） (2021-08-12T02:30:38Z)
• Clustering multilayer graphs with missing nodes [4.007017852999008]
  クラスタリングはネットワーク分析における基本的な問題であり、同じ接続プロファイルを持つノードを再グループ化するのが目標である。 異なるノードセット上でレイヤを定義できる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-04T18:56:59Z)
• Multi-scale Interactive Network for Salient Object Detection [91.43066633305662]
  本稿では,隣接レベルからの機能を統合するためのアグリゲート・インタラクション・モジュールを提案する。 より効率的なマルチスケール機能を得るために、各デコーダユニットに自己相互作用モジュールを埋め込む。 5つのベンチマークデータセットによる実験結果から,提案手法は後処理を一切行わず,23の最先端手法に対して良好に動作することが示された。
  論文  参考訳（メタデータ） (2020-07-17T15:41:37Z)
• Towards Deeper Graph Neural Networks with Differentiable Group Normalization [61.20639338417576]
  グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。 オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。 2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
  論文  参考訳（メタデータ） (2020-06-12T07:18:02Z)
• Associating Multi-Scale Receptive Fields for Fine-grained Recognition [5.079292308180334]
  マルチスケールの受容場を2つの操作で関連付けるために,新しい多層非局所(CNL)モジュールを提案する。 CNLはクエリ層とすべてのレスポンス層の間の相関を計算する。 モデルでは,多層層間の空間的依存関係を構築し,より識別的な特徴を学習する。
  論文  参考訳（メタデータ） (2020-05-19T01:16:31Z)
• Graph Neural Networks with Composite Kernels [60.81504431653264]
  カーネル重み付けの観点からノード集約を再解釈する。 本稿では,アグリゲーション方式における特徴類似性を考慮したフレームワークを提案する。 特徴空間における特徴類似性をエンコードするために,元の隣り合うカーネルと学習可能なカーネルの合成として特徴集約を提案する。
  論文  参考訳（メタデータ） (2020-05-16T04:44:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。