論文の概要: TSC: A Simple Two-Sided Constraint against Over-Smoothing

• arxiv url: http://arxiv.org/abs/2408.03152v1
• Date: Tue, 6 Aug 2024 12:52:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 14:07:58.200010
• Title: TSC: A Simple Two-Sided Constraint against Over-Smoothing
• Title（参考訳）: TSC: オーバースムーシングに対する単純な2次元制約
• Authors: Furong Peng, Kang Liu, Xuan Lu, Yuhua Qian, Hongren Yan, Chao Ma,
• Abstract要約: グラフ畳み込みニューラルネットワーク(GCN)のための単純な2次元制約(TSC)を導入する。 ランダムマスキングは、隣人からの情報の集約の度合いを調整するために、表現行列の列に作用する。 表現行列の行に適用される対照的な制約は、ノードの識別可能性を高める。
• 参考スコア（独自算出の注目度）: 17.274727377858873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Convolutional Neural Network (GCN), a widely adopted method for analyzing relational data, enhances node discriminability through the aggregation of neighboring information. Usually, stacking multiple layers can improve the performance of GCN by leveraging information from high-order neighbors. However, the increase of the network depth will induce the over-smoothing problem, which can be attributed to the quality and quantity of neighbors changing: (a) neighbor quality, node's neighbors become overlapping in high order, leading to aggregated information becoming indistinguishable, (b) neighbor quantity, the exponentially growing aggregated neighbors submerges the node's initial feature by recursively aggregating operations. Current solutions mainly focus on one of the above causes and seldom consider both at once. Aiming at tackling both causes of over-smoothing in one shot, we introduce a simple Two-Sided Constraint (TSC) for GCNs, comprising two straightforward yet potent techniques: random masking and contrastive constraint. The random masking acts on the representation matrix's columns to regulate the degree of information aggregation from neighbors, thus preventing the convergence of node representations. Meanwhile, the contrastive constraint, applied to the representation matrix's rows, enhances the discriminability of the nodes. Designed as a plug-in module, TSC can be easily coupled with GCN or SGC architectures. Experimental analyses on diverse real-world graph datasets verify that our approach markedly reduces the convergence of node's representation and the performance degradation in deeper GCN.
• Abstract（参考訳）: グラフ畳み込みニューラルネットワーク(GCN: Graph Convolutional Neural Network)は、周辺情報の集約を通じてノード識別性を高める。 通常、複数のレイヤを積み重ねることで、高次の隣人からの情報を活用することにより、GCNのパフォーマンスが向上する。 しかし、ネットワーク深度の増加は、近隣住民の質や量の変化による過度なスムース化の問題を引き起こす。 (a)隣人の品質、ノードの隣人は高い順序で重なり、集約された情報が区別不能になる。 b) 隣接量、指数関数的に増大する集約された隣人は、再帰的に演算を集約することで、ノードの初期特徴を水没させる。 現在のソリューションは主に上記の原因の1つに焦点を当てており、一度に両方を考えることはめったにない。 ランダムマスキングとコントラスト制約という2つの簡単な手法を含む,GCNに対する単純な2次元制約(TSC)を導入する。 ランダムマスキングは表現行列の列に作用し、隣人からの情報の集約の度合いを調節し、ノード表現の収束を防ぐ。 一方、表現行列の行に適用される対照的な制約は、ノードの識別可能性を高める。 プラグインモジュールとして設計されたTSCは、GCNやSGCアーキテクチャと簡単に結合できる。 各種実世界のグラフデータセットの実験的解析により,本手法がノード表現の収束とGCNの深い性能劣化を著しく低減することを確認した。

関連論文リスト

• Deep Graph Neural Networks via Posteriori-Sampling-based Node-Adaptive Residual Module [65.81781176362848]
  グラフニューラルネットワーク(GNN)は、近隣情報収集を通じてグラフ構造化データから学習することができる。 レイヤーの数が増えるにつれて、ノード表現は区別不能になり、オーバー・スムーシング(over-smoothing)と呼ばれる。 我々は,textbfPosterior-Sampling-based, Node-distinguish Residual Module (PSNR)を提案する。
  論文  参考訳（メタデータ） (2023-05-09T12:03:42Z)
• Flattened Graph Convolutional Networks For Recommendation [18.198536511983452]
  本稿では,既存のモデルに比べて非常に少ない複雑さで優れた性能を達成できるフラット化GCN(FlatGCN)モデルを提案する。 まず,1つの平坦なGCN層を用いて周辺情報を集約する簡易かつ強力なGCNアーキテクチャを提案する。 次に,隣り合うノード間の相関を計測し,最も価値のある隣人を選択するための情報的隣人-infomaxサンプリング手法を提案する。 第3に,最終層に階層的近傍表現を組み立てることで,学習した表現の表現性を向上する層アンサンブル手法を提案する。
  論文  参考訳（メタデータ） (2022-09-25T12:53:50Z)
• Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
  補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。 この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• Geometric Graph Representation Learning via Maximizing Rate Reduction [73.6044873825311]
  学習ノード表現は、コミュニティ検出やノード分類などのグラフ解析において、さまざまな下流タスクの恩恵を受ける。 教師なしの方法でノード表現を学習するための幾何学グラフ表現学習(G2R)を提案する。 G2R は異なるグループ内のノードを異なる部分空間にマッピングし、各部分空間はコンパクトで異なる部分空間が分散される。
  論文  参考訳（メタデータ） (2022-02-13T07:46:24Z)
• Deep Graph Clustering via Dual Correlation Reduction [37.973072977988494]
  本稿では,Dual correlation Reduction Network (DCRN) と呼ばれる自己教師型ディープグラフクラスタリング手法を提案する。 提案手法では,まず,サンプルを符号化するシアムネットワークを設計する。次に,クロスビューサンプル相関行列とクロスビュー特徴相関行列をそれぞれ2つのアイデンティティ行列に近似させることで,二重レベルの情報相関を小さくする。 本稿では,GCNの過度なスムース化による表現の崩壊を軽減するために,ネットワークが長距離情報を得るための伝搬正則化項を導入する。
  論文  参考訳（メタデータ） (2021-12-29T04:05:38Z)
• Feature Correlation Aggregation: on the Path to Better Graph Neural Networks [37.79964911718766]
  グラフニューラルネットワーク(GNN)が導入される以前、不規則なデータ、特にグラフのモデリングと解析は、ディープラーニングのアキレスのヒールであると考えられていた。 本稿では,GNNのコア操作に対して,極めて単純かつ無作為な修正を施した中央ノード置換変分関数を提案する。 モデルの具体的な性能向上は、モデルがより少ないパラメータを使用しながら、有意なマージンで過去の最先端結果を上回った場合に観察される。
  論文  参考訳（メタデータ） (2021-09-20T05:04:26Z)
• Reasoning Graph Networks for Kinship Verification: from Star-shaped to Hierarchical [85.0376670244522]
  階層型推論グラフネットワークの学習による顔の親和性検証の問題点について検討する。 より強力で柔軟なキャパシティを利用するために,星型推論グラフネットワーク(S-RGN)を開発した。 また、より強力で柔軟なキャパシティを利用する階層型推論グラフネットワーク(H-RGN)も開発しています。
  論文  参考訳（メタデータ） (2021-09-06T03:16:56Z)
• SLGCN: Structure Learning Graph Convolutional Networks for Graphs under Heterophily [5.619890178124606]
  本稿では2つの側面から問題を緩和する構造学習グラフ畳み込みネットワーク(SLGCN)を提案する。 具体的には、全ての類似ノードから特徴表現を効率的に集約するために、アンカーを用いた効率的なスペクトルクラスタリング(ESC-ANCH)を設計する。 幅広いベンチマークデータセットの実験結果は、提案されたSLGCNが、最先端のGNNよりも優れていることを示している。
  論文  参考訳（メタデータ） (2021-05-28T13:00:38Z)
• Reinforced Neighborhood Selection Guided Multi-Relational Graph Neural Networks [68.9026534589483]
  RioGNNはReinforceed, recursive, flexible neighborhood selection guided multi-relational Graph Neural Network architectureである。 RioGNNは、各関係の個々の重要性の認識により、説明性を高めた差別的なノード埋め込みを学ぶことができる。
  論文  参考訳（メタデータ） (2021-04-16T04:30:06Z)
• An Uncoupled Training Architecture for Large Graph Learning [20.784230322205232]
  グラフデータをグリッドライクなデータに埋め込むための、柔軟なアンカップリングトレーニングフレームワークであるNode2Gridsを紹介します。 各ノードの影響を次々にランク付けすることで、Node2Gridsは最も影響力のある1階と、中央ノードの融合情報を持つ2階の隣人を選択する。 下流タスクの効率をさらに向上するために、単純なCNNベースのニューラルネットワークを使用して、マッピングされたグリッドのようなデータから重要な情報をキャプチャする。
  論文  参考訳（メタデータ） (2020-03-21T11:49:16Z)
• Unifying Graph Convolutional Neural Networks and Label Propagation [73.82013612939507]
  LPAとGCNの関係を特徴・ラベルの平滑化と特徴・ラベルの影響の2点の観点から検討した。 理論解析に基づいて,ノード分類のためのGCNとLCAを統一するエンドツーエンドモデルを提案する。 我々のモデルは、既存の特徴に基づく注目モデルよりもタスク指向のノードラベルに基づく学習注意重みと見なすこともできる。
  論文  参考訳（メタデータ） (2020-02-17T03:23:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。