論文の概要: Cross-Space Adaptive Filter: Integrating Graph Topology and Node Attributes for Alleviating the Over-smoothing Problem

• arxiv url: http://arxiv.org/abs/2401.14876v2
• Date: Sat, 10 Feb 2024 08:58:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 20:43:33.773822
• Title: Cross-Space Adaptive Filter: Integrating Graph Topology and Node Attributes for Alleviating the Over-smoothing Problem
• Title（参考訳）: クロススペース適応フィルタ:グラフトポロジとノード属性の統合によるオーバー・スムーシング問題の軽減
• Authors: Chen Huang, Haoyang Li, Yifan Zhang, Wenqiang Lei, Jiancheng Lv
• Abstract要約: グラフ畳み込みネットワーク(GCN)は低域フィルタを用いてグラフトポロジから低周波信号を抽出する。 グラフトポロジから抽出した余分なフィルタを組み込んで適応フィルタを作成するための様々な手法が提案されている。 本研究では、位相空間と属性空間の両方から抽出された適応周波数情報を生成するために、CSFと呼ばれるクロススペース適応フィルタを提案する。
• 参考スコア（独自算出の注目度）: 39.347616859256256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The vanilla Graph Convolutional Network (GCN) uses a low-pass filter to extract low-frequency signals from graph topology, which may lead to the over-smoothing problem when GCN goes deep. To this end, various methods have been proposed to create an adaptive filter by incorporating an extra filter (e.g., a high-pass filter) extracted from the graph topology. However, these methods heavily rely on topological information and ignore the node attribute space, which severely sacrifices the expressive power of the deep GCNs, especially when dealing with disassortative graphs. In this paper, we propose a cross-space adaptive filter, called CSF, to produce the adaptive-frequency information extracted from both the topology and attribute spaces. Specifically, we first derive a tailored attribute-based high-pass filter that can be interpreted theoretically as a minimizer for semi-supervised kernel ridge regression. Then, we cast the topology-based low-pass filter as a Mercer's kernel within the context of GCNs. This serves as a foundation for combining it with the attribute-based filter to capture the adaptive-frequency information. Finally, we derive the cross-space filter via an effective multiple-kernel learning strategy, which unifies the attribute-based high-pass filter and the topology-based low-pass filter. This helps to address the over-smoothing problem while maintaining effectiveness. Extensive experiments demonstrate that CSF not only successfully alleviates the over-smoothing problem but also promotes the effectiveness of the node classification task.
• Abstract（参考訳）: バニラグラフ畳み込みネットワーク(gcn)は低パスフィルタを使用してグラフトポロジーから低周波信号を抽出する。 この目的のために、グラフトポロジから抽出した追加フィルタ(例えば、ハイパスフィルタ)を組み込んで適応フィルタを作成するための様々な手法が提案されている。 しかし、これらの手法は位相情報に強く依存し、特に非因果グラフを扱う場合、深いGCNの表現力を著しく犠牲にするノード属性空間を無視する。 本稿では,位相空間と属性空間の両方から抽出した適応周波数情報を生成するために,csfと呼ばれるクロススペース適応フィルタを提案する。 具体的には, 半教師付きカーネルリッジ回帰の最小化として理論的に解釈可能な属性に基づく高パスフィルタを導出する。 次に、トポロジーベースのローパスフィルタをマーサーのカーネルとしてgcnsのコンテキストにキャストした。 これはアダプティブ周波数情報をキャプチャするために属性ベースのフィルタと組み合わせる基盤となる。 最後に、属性に基づくハイパスフィルタとトポロジに基づくローパスフィルタを統一する効果的なマルチカーネル学習戦略により、クロススペースフィルタを導出する。 これにより、効率を保ちながら過度にスムースな問題に対処できます。 大規模な実験により、CSFは過度に平滑な問題を緩和するだけでなく、ノード分類タスクの有効性も促進することが示された。

関連論文リスト

• Generalized Learning of Coefficients in Spectral Graph Convolutional Networks [5.5711773076846365]
  スペクトルグラフ畳み込みネットワーク(GCN)は、グラフ機械学習アプリケーションで人気を集めている。 G-Arnoldi-GCNは、適切な関数が採用された場合、常に最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-09-07T12:53:44Z)
• Message Passing in Graph Convolution Networks via Adaptive Filter Banks [81.12823274576274]
  我々は BankGCN と呼ばれる新しいグラフ畳み込み演算子を提案する。 グラフ上のマルチチャネル信号をサブスペースに分解し、各サブスペース内の特定の情報を適応フィルタで処理する。 ベンチマークグラフデータセットの集合におけるグラフ分類における優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-06-18T04:23:34Z)
• DNN-Based Topology Optimisation: Spatial Invariance and Neural Tangent Kernel [7.106986689736828]
  完全に接続されたニューラルネットワークによって生成される密度場を用いてSIMP法について検討し,その座標を入力とする。 我々は,DNNの使用が従来のSIMPのフィルタリング手法と類似したフィルタリング効果をもたらすことを示し,ニューラル・タンジェント・カーネル(NTK)によるフィルタについて述べる。
  論文  参考訳（メタデータ） (2021-06-10T12:49:55Z)
• Resolution learning in deep convolutional networks using scale-space theory [31.275270391367425]
  ディープ畳み込みニューラルネットワーク(CNN)の解像度は、一般的に、フィルタサイズを通じて受容野のサイズと、特徴写像上の層や強みのある畳み込みによって制限される。 我々は、ハードコードされた高解像度パラメータを廃止し、データから適切な解像度を学習することを提案する。 スケール空間理論を用いてフィルタの自己相似パラメトリゼーションを求め、ガウス微分フィルタの学習的組み合わせによりフィルタを近似するために、N-Jet: truncated Taylor級数を用いる。
  論文  参考訳（メタデータ） (2021-06-07T08:23:02Z)
• Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
  適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。 提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
  論文  参考訳（メタデータ） (2021-04-26T19:31:21Z)
• SCOP: Scientific Control for Reliable Neural Network Pruning [127.20073865874636]
  本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。 冗長フィルタは、異なる特徴の逆数過程において発見できる。 提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
  論文  参考訳（メタデータ） (2020-10-21T03:02:01Z)
• Filter Grafting for Deep Neural Networks: Reason, Method, and Cultivation [86.91324735966766]
  フィルタは現代の畳み込みニューラルネットワーク(CNN)のキーコンポーネントである 本稿では,この目的を達成するためにフィルタグラフト(textbfMethod)を導入する。 我々は,フィルタの情報を測定するための新しい基準と,グラフトされた情報をネットワーク間でバランスをとるための適応重み付け戦略を開発する。
  論文  参考訳（メタデータ） (2020-04-26T08:36:26Z)
• Filter Grafting for Deep Neural Networks [71.39169475500324]
  ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト 我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。 例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
  論文  参考訳（メタデータ） (2020-01-15T03:18:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。