論文の概要: Beyond Low-frequency Information in Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2101.00797v1
• Date: Mon, 4 Jan 2021 06:26:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-11 22:50:04.104833
• Title: Beyond Low-frequency Information in Graph Convolutional Networks
• Title（参考訳）: グラフ畳み込みネットワークにおける低周波情報を超えて
• Authors: Deyu Bo and Xiao Wang and Chuan Shi and Huawei Shen
• Abstract要約: 自己制御機構を備えた新しい周波数適応グラフ畳み込みネットワーク(fagcn)を提案する。 より深く理解するために、学習ノード表現における低周波信号と高周波信号の役割を理論的に分析する。 FAGCNは、過スムージング問題を緩和するだけでなく、最先端の利点もあります。
• 参考スコア（独自算出の注目度）: 34.18816015423785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) have been proven to be effective in various network-related tasks. Most existing GNNs usually exploit the low-frequency signals of node features, which gives rise to one fundamental question: is the low-frequency information all we need in the real world applications? In this paper, we first present an experimental investigation assessing the roles of low-frequency and high-frequency signals, where the results clearly show that exploring low-frequency signal only is distant from learning an effective node representation in different scenarios. How can we adaptively learn more information beyond low-frequency information in GNNs? A well-informed answer can help GNNs enhance the adaptability. We tackle this challenge and propose a novel Frequency Adaptation Graph Convolutional Networks (FAGCN) with a self-gating mechanism, which can adaptively integrate different signals in the process of message passing. For a deeper understanding, we theoretically analyze the roles of low-frequency signals and high-frequency signals on learning node representations, which further explains why FAGCN can perform well on different types of networks. Extensive experiments on six real-world networks validate that FAGCN not only alleviates the over-smoothing problem, but also has advantages over the state-of-the-arts.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は様々なネットワーク関連タスクに有効であることが証明されている。 既存のgnnの多くは、ノードの特徴の低周波信号を利用するのが一般的であり、これは1つの基本的な疑問を生じさせる。 本稿では,まず,低周波信号と高周波信号の役割を実験的に検討し,低周波信号の探索は異なるシナリオで有効なノード表現の学習から遠ざかっていることを示す。 GNNにおける低周波情報以外の情報を適応的に学習する方法 よくインフォームドされた回答は、GNNが適応性を高めるのに役立つ。 本稿では、この課題に取り組み、メッセージパッシングの過程で異なる信号を適応的に統合するセルフゲーティング機構を備えた新しい周波数適応グラフ畳み込みネットワーク(FAGCN)を提案する。 より深く理解するために,学習ノード表現における低周波信号と高周波信号の役割を理論的に解析し,fagcnが異なる種類のネットワークでうまく機能する理由を説明している。 6つの実世界のネットワークに関する大規模な実験は、FAGCNが過度にスムースな問題を緩和するだけでなく、最先端技術よりも有利であることを示した。

関連論文リスト

• Addressing Spectral Bias of Deep Neural Networks by Multi-Grade Deep Learning [3.0468273116892752]
  ディープニューラルネットワーク(DNN)は、関数の低周波成分の学習を優先し、その高周波の特徴を捉えるのに苦労する傾向を示す。 本稿では、複数のSNNを構成することで高周波成分を含む関数を学習し、それぞれが与えられたデータから特定の低周波情報を学ぶことを提案する。 本研究は,MGDLが高周波情報を含む機能に優れていることを明らかにする。
  論文  参考訳（メタデータ） (2024-10-21T15:34:33Z)
• Signal-SGN: A Spiking Graph Convolutional Network for Skeletal Action Recognition via Learning Temporal-Frequency Dynamics [2.9578022754506605]
  骨格に基づく行動認識では、グラフ畳み込みネットワーク(GCN)はその複雑さと高エネルギー消費のために制限に直面している。 本稿では、骨格配列の時間次元をスパイキング時間ステップとして活用するSignal-SGN(Spiking Graph Convolutional Network)を提案する。 実験により,提案モデルが既存のSNN法を精度で上回るだけでなく,学習時の計算記憶コストも低減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-03T07:47:16Z)
• BLIS-Net: Classifying and Analyzing Signals on Graphs [20.345611294709244]
  グラフニューラルネットワーク(GNN)は、ノード分類やグラフ分類といったタスクのための強力なツールとして登場した。 我々は以前に導入された幾何散乱変換に基づいて構築された新しいGNNであるBLIS-Net(Bi-Lipschitz Scattering Net)を紹介する。 BLIS-Netは,交通流とfMRIデータに基づいて,合成データと実世界のデータの両方において優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-10-26T17:03:14Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Zero-bias Deep Neural Network for Quickest RF Signal Surveillance [14.804498377638696]
  モノのインターネット(IoT)は、十分な数のRFデバイスがRFチャネルを介して情報を接続し、共有できるようにすることによって、現代社会を再構築している。 本稿ではRF信号監視のためのディープラーニングフレームワークを提供する。 我々は、Deep Neural Networks(DNN)とQuickest Detection(QD)を統合して、シーケンシャルな信号監視スキームを形成する。
  論文  参考訳（メタデータ） (2021-10-12T07:48:57Z)
• Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
  適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。 提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
  論文  参考訳（メタデータ） (2021-04-26T19:31:21Z)
• AM-GCN: Adaptive Multi-channel Graph Convolutional Networks [85.0332394224503]
  グラフ畳み込みネットワーク(GCN)は,豊富な情報を持つ複雑なグラフにおいて,ノードの特徴と位相構造を最適に統合できるかどうかを検討する。 半教師付き分類(AM-GCN)のための適応型マルチチャネルグラフ畳み込みネットワークを提案する。 実験の結果,AM-GCNはノードの特徴とトポロジ的構造の両方から最も相関性の高い情報を抽出することがわかった。
  論文  参考訳（メタデータ） (2020-07-05T08:16:03Z)
• Graph Neural Networks for Motion Planning [108.51253840181677]
  低次元問題に対する高密度固定グラフ上のGNNと高次元問題に対するサンプリングベースGNNの2つの手法を提案する。 RRT(Rapidly-Exploring Random Trees)におけるクリティカルノードの特定やサンプリング分布の学習といった計画上の問題にGNNが取り組む能力について検討する。 臨界サンプリング、振り子、6つのDoFロボットアームによる実験では、GNNは従来の分析手法の改善だけでなく、完全に接続されたニューラルネットワークや畳み込みニューラルネットワークを用いた学習アプローチも示している。
  論文  参考訳（メタデータ） (2020-06-11T08:19:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。