論文の概要: Improving Expressive Power of Spectral Graph Neural Networks with
Eigenvalue Correction
- arxiv url: http://arxiv.org/abs/2401.15603v1
- Date: Sun, 28 Jan 2024 08:12:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 17:26:25.090135
- Title: Improving Expressive Power of Spectral Graph Neural Networks with
Eigenvalue Correction
- Title(参考訳): 固有値補正によるスペクトルグラフニューラルネットワークの表現力向上
- Authors: Kangkang Lu, Yanhua Yu, Hao Fei, Xuan Li, Zixuan Yang, Zirui Guo,
Meiyu Liang, Mengran Yin and Tat-Seng Chua
- Abstract要約: スペクトルグラフニューラルネットワークはフィルタによって特徴づけられる。
本稿では,繰り返し入力される固有値の制約からフィルタを解放する固有値補正手法を提案する。
- 参考スコア(独自算出の注目度): 57.660511830884566
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, spectral graph neural networks, characterized by polynomial
filters, have garnered increasing attention and have achieved remarkable
performance in tasks such as node classification. These models typically assume
that eigenvalues for the normalized Laplacian matrix are distinct from each
other, thus expecting a polynomial filter to have a high fitting ability.
However, this paper empirically observes that normalized Laplacian matrices
frequently possess repeated eigenvalues. Moreover, we theoretically establish
that the number of distinguishable eigenvalues plays a pivotal role in
determining the expressive power of spectral graph neural networks. In light of
this observation, we propose an eigenvalue correction strategy that can free
polynomial filters from the constraints of repeated eigenvalue inputs.
Concretely, the proposed eigenvalue correction strategy enhances the uniform
distribution of eigenvalues, thus mitigating repeated eigenvalues, and
improving the fitting capacity and expressive power of polynomial filters.
Extensive experimental results on both synthetic and real-world datasets
demonstrate the superiority of our method.
- Abstract(参考訳): 近年,多項式フィルタを特徴とするスペクトルグラフニューラルネットワークが注目度を高め,ノード分類などのタスクにおいて顕著な性能を発揮している。
これらのモデルは典型的には正規化ラプラス行列の固有値が互いに異なると仮定し、多項式フィルタが高い適合性を持つことを期待する。
しかし,本論文では正規化ラプラシアン行列が繰り返し固有値を持つことを実証的に観察する。
さらに,スペクトルグラフニューラルネットワークの表現力を決定する上で,識別可能な固有値の数が重要な役割を担っていることを理論的に立証する。
そこで本研究では,繰り返し入力される固有値の制約から多項式フィルタを解放する固有値補正手法を提案する。
具体的には, 固有値の均一分布を強化し, 繰り返し固有値を緩和し, 多項式フィルタの適合能力と表現力を向上させる。
合成データと実世界のデータセットの両方における広範な実験結果から,本手法の優越性が示された。
関連論文リスト
- Nonlinear spiked covariance matrices and signal propagation in deep
neural networks [22.84097371842279]
フィードフォワードニューラルネットワークの非線形特徴写像によって定義される共役カーネルの固有値スペクトルについて検討する。
本研究では,これらの信号固有値と固有ベクトルをスパイク共分散モデルの非線形バージョンとして特徴付ける。
また、重み行列が訓練中にランク1信号成分を発達させる単純な表現学習方式についても検討する。
論文 参考訳(メタデータ) (2024-02-15T17:31:19Z) - An Effective Universal Polynomial Basis for Spectral Graph Neural
Networks [12.725906836609811]
スペクトルグラフニューラルネットワーク(GNN)はヘテロフィリーグラフの出現率を高めている。
グラフヘテロフィリー次数を導入して適応的なヘテロフィリー基底を開発する。
そして、このヘテロフィ基底をホモフィ基底と統合し、普遍基底UniBasisを作成する。
論文 参考訳(メタデータ) (2023-11-30T01:48:42Z) - Using Variational Eigensolvers on Low-End Hardware to Find the Ground
State Energy of Simple Molecules [0.0]
物理系の鍵となる性質は、系を表す行列の固有値によって記述することができる。
これらの行列の固有値を決定する計算アルゴリズムは存在するが、一般に行列のサイズが大きくなるにつれて性能が低下する。
この過程を量子計算に拡張して、古典的アルゴリズムよりも優れた性能で固有値を求めることができる。
論文 参考訳(メタデータ) (2023-10-29T18:36:18Z) - HoloNets: Spectral Convolutions do extend to Directed Graphs [59.851175771106625]
従来の知恵は、スペクトル畳み込みネットワークは無向グラフ上にしか展開できないと規定している。
ここでは、このグラフフーリエ変換への伝統的な依存が超フルであることを示す。
本稿では,新たに開発されたフィルタの周波数応答解釈を行い,フィルタ表現に使用するベースの影響を調査し,ネットワークを基盤とする特性演算子との相互作用について議論する。
論文 参考訳(メタデータ) (2023-10-03T17:42:09Z) - Eigenvalue sensitivity from eigenstate geometry near and beyond
arbitrary-order exceptional points [0.0]
効果的に非エルミート・ハミルトン系を持つ系は、パラメトリックおよび動的摂動に対する感度を増強する。
この感度は、数学的に固有値条件数に対応する位相剛性によって定量化することができる。
任意の固有値構成に適用可能な、この感度尺度の正確な非摂動式を導出する。
論文 参考訳(メタデータ) (2023-07-12T16:36:39Z) - The Inductive Bias of Flatness Regularization for Deep Matrix
Factorization [58.851514333119255]
この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。
測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
論文 参考訳(メタデータ) (2023-06-22T23:14:57Z) - Coefficients of almost-degenerate density matrix perturbation theory for
eigenvalue problems [0.0]
いくつかの固有値が互いに近接している場合、固有値の違いの逆がいくつかの要因として生じることを示す。
級数係数の式におけるこれらの人工特異点を取り除き、固有値ギャップを任意に小さくすることができる。
論文 参考訳(メタデータ) (2023-05-15T21:18:37Z) - Specformer: Spectral Graph Neural Networks Meet Transformers [51.644312964537356]
スペクトルグラフニューラルネットワーク(GNN)は、スペクトル領域グラフ畳み込みを通じてグラフ表現を学習する。
本稿では、全ての固有値の集合を効果的に符号化し、スペクトル領域で自己アテンションを行うSpecformerを紹介する。
複数のSpecformerレイヤを積み重ねることで、強力なスペクトルGNNを構築することができる。
論文 参考訳(メタデータ) (2023-03-02T07:36:23Z) - Graph Polynomial Convolution Models for Node Classification of
Non-Homophilous Graphs [52.52570805621925]
本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。
得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。
提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
論文 参考訳(メタデータ) (2022-09-12T04:46:55Z) - Stability to Deformations of Manifold Filters and Manifold Neural
Networks [97.81148499653452]
本論文は、多様体(M)畳み込みフィルタとニューラルネットワーク(NN)を定義し、研究する。
この論文の主な技術的貢献は、多様体の滑らかな変形に対する多様体フィルタとMNNの安定性を分析することである。
論文 参考訳(メタデータ) (2021-06-07T15:41:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。