論文の概要: Graph Neural Networks with Adaptive Frequency Response Filter
- arxiv url: http://arxiv.org/abs/2104.12840v1
- Date: Mon, 26 Apr 2021 19:31:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-28 13:26:09.017447
- Title: Graph Neural Networks with Adaptive Frequency Response Filter
- Title(参考訳): 適応周波数応答フィルタを用いたグラフニューラルネットワーク
- Authors: Yushun Dong, Kaize Ding, Brian Jalaian, Shuiwang Ji, Jundong Li
- Abstract要約: 適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。
提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
- 参考スコア(独自算出の注目度): 55.626174910206046
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Neural Networks have recently become a prevailing paradigm for various
high-impact graph learning tasks. Existing efforts can be mainly categorized as
spectral-based and spatial-based methods. The major challenge for the former is
to find an appropriate graph filter to distill discriminative information from
input signals for learning. Recently, attempts such as Graph Convolutional
Network (GCN) leverage Chebyshev polynomial truncation to seek an approximation
of graph filters and bridge these two families of methods. It has been shown in
recent studies that GCN and its variants are essentially employing fixed
low-pass filters to perform information denoising. Thus their learning
capability is rather limited and may over-smooth node representations at deeper
layers. To tackle these problems, we develop a novel graph neural network
framework AdaGNN with a well-designed adaptive frequency response filter. At
its core, AdaGNN leverages a simple but elegant trainable filter that spans
across multiple layers to capture the varying importance of different frequency
components for node representation learning. The inherent differences among
different feature channels are also well captured by the filter. As such, it
empowers AdaGNN with stronger expressiveness and naturally alleviates the
over-smoothing problem. We empirically validate the effectiveness of the
proposed framework on various benchmark datasets. Theoretical analysis is also
provided to show the superiority of the proposed AdaGNN. The implementation of
AdaGNN is available at \url{https://github.com/yushundong/AdaGNN}.
- Abstract(参考訳): グラフニューラルネットワークは最近、さまざまなハイインパクトグラフ学習タスクの一般的なパラダイムとなっている。
既存の取り組みは主にスペクトルベースおよび空間ベース手法に分類される。
前者にとっての大きな課題は、入力信号から識別情報を抽出する適切なグラフフィルタを見つけることである。
近年,グラフ畳み込みネットワーク (GCN) などの試みでは,チェビシェフ多項式の切り込みを利用してグラフフィルタの近似を求め,これら2種類の手法をブリッジしている。
近年の研究では、GCNとその変種は基本的に固定された低域通過フィルタを用いて情報をノイズ化していることが示されている。
したがって、学習能力はかなり限られており、より深い層でノード表現を過剰にスムースする可能性がある。
そこで本研究では,適応周波数応答フィルタを用いた新しいグラフニューラルネットワークフレームワークadagnnを開発した。
コアとなるAdaGNNは、複数の層にまたがるシンプルだがエレガントなトレーニング可能なフィルタを活用して、ノード表現学習における様々な周波数成分の重要性を捉えている。
異なる特徴チャネル間の固有の相違もフィルタによってよく捉えられる。
そのため、AdaGNNに強い表現力を与え、過度にスムースな問題を自然に軽減する。
提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
また,提案するAdaGNNの優位性を示す理論的解析を行った。
AdaGNNの実装は \url{https://github.com/yushundong/AdaGNN} で公開されている。
関連論文リスト
- Spatio-Spectral Graph Neural Networks [50.277959544420455]
比スペクトルグラフネットワーク(S$2$GNN)を提案する。
S$2$GNNは空間的およびスペクトル的にパラメータ化されたグラフフィルタを組み合わせる。
S$2$GNNsは、MPGNNsよりも厳密な近似理論誤差境界を生じる。
論文 参考訳(メタデータ) (2024-05-29T14:28:08Z) - Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる
本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。
我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
論文 参考訳(メタデータ) (2024-05-27T17:52:12Z) - Overcoming Oversmoothness in Graph Convolutional Networks via Hybrid
Scattering Networks [11.857894213975644]
本稿では,従来のGCNフィルタと幾何散乱変換を用いて定義された帯域通過フィルタを組み合わせたハイブリッドグラフニューラルネットワーク(GNN)フレームワークを提案する。
理論的には, グラフからの構造情報を活用するために散乱フィルタの相補的な利点が確立され, 実験では様々な学習課題における手法の利点が示された。
論文 参考訳(メタデータ) (2022-01-22T00:47:41Z) - Adaptive Kernel Graph Neural Network [21.863238974404474]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの表現学習において大きな成功を収めている。
本稿では,AKGNN(Adaptive Kernel Graph Neural Network)という新しいフレームワークを提案する。
AKGNNは、最初の試みで最適なグラフカーネルに統一的に適応することを学ぶ。
評価されたベンチマークデータセットで実験を行い、提案したAKGNNの優れた性能を示す有望な結果を得た。
論文 参考訳(メタデータ) (2021-12-08T20:23:58Z) - Adaptive Filters in Graph Convolutional Neural Networks [0.0]
グラフニューラルネットワーク(GNN)は,グラフ構造化データ処理の可能性から注目されている。
本稿では,グラフ上で空間畳み込みを行う手法を提案する入力に対して,ConvGNNの振る舞いを適応させる新しい手法を提案する。
論文 参考訳(メタデータ) (2021-05-21T14:36:39Z) - Unrolling of Deep Graph Total Variation for Image Denoising [106.93258903150702]
本稿では,従来のグラフ信号フィルタリングと深い特徴学習を併用して,競合するハイブリッド設計を提案する。
解釈可能な低パスグラフフィルタを用い、最先端のDL復調方式DnCNNよりも80%少ないネットワークパラメータを用いる。
論文 参考訳(メタデータ) (2020-10-21T20:04:22Z) - Graphs, Convolutions, and Neural Networks: From Graph Filters to Graph
Neural Networks [183.97265247061847]
我々はグラフ信号処理を活用してグラフニューラルネットワーク(GNN)の表現空間を特徴付ける。
GNNにおけるグラフ畳み込みフィルタの役割について議論し、そのようなフィルタで構築されたアーキテクチャは、置換同値の基本的な性質と位相変化に対する安定性を持つことを示す。
また,ロボット群に対するリコメンデータシステムや分散型コントローラの学習におけるGNNの利用について検討した。
論文 参考訳(メタデータ) (2020-03-08T13:02:15Z) - Filter Grafting for Deep Neural Networks [71.39169475500324]
ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト
我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。
例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
論文 参考訳(メタデータ) (2020-01-15T03:18:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。