論文の概要: Sparse Graph Learning with Eigen-gap for Spectral Filter Training in
Graph Convolutional Networks
- arxiv url: http://arxiv.org/abs/2202.13526v1
- Date: Mon, 28 Feb 2022 03:39:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-01 17:43:59.692252
- Title: Sparse Graph Learning with Eigen-gap for Spectral Filter Training in
Graph Convolutional Networks
- Title（参考訳）: グラフ畳み込みネットワークにおけるスペクトルフィルタトレーニングのための固有gapを用いたスパースグラフ学習
- Authors: Jin Zeng, Saghar Bagheri, Yang Liu, Gene Cheung, Wei Hu
- Abstract要約: スパースグラフ Laplacian matrix $L$ to $barC-1$ は、より深いグラフ畳み込みニューラルネット(GCN)アーキテクチャを促進するために使用できることを示す。
実験の結果,提案手法は明示的な固有ギャップ最適化を伴わない競合方式と比較して,より深いGCNとより小さな誤差を生じることがわかった。
- 参考スコア（独自算出の注目度）: 38.92746674849527
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It is now known that the expressive power of graph convolutional neural nets
(GCN) does not grow infinitely with the number of layers. Instead, the GCN
output approaches a subspace spanned by the first eigenvector of the normalized
graph Laplacian matrix with the convergence rate characterized by the
"eigen-gap": the difference between the Laplacian's first two distinct
eigenvalues. To promote a deeper GCN architecture with sufficient
expressiveness, in this paper, given an empirical covariance matrix $\bar{C}$
computed from observable data, we learn a sparse graph Laplacian matrix $L$
closest to $\bar{C}^{-1}$ while maintaining a desirable eigen-gap that slows
down convergence. Specifically, we first define a sparse graph learning problem
with constraints on the first eigenvector (the most common signal) and the
eigen-gap. We solve the corresponding dual problem greedily, where a locally
optimal eigen-pair is computed one at a time via a fast approximation of a
semi-definite programming (SDP) formulation. The computed $L$ with the desired
eigen-gap is normalized spectrally and used for supervised training of GCN for
a targeted task. Experiments show that our proposal produced deeper GCNs and
smaller errors compared to a competing scheme without explicit eigen-gap
optimization.
- Abstract（参考訳）: 現在、グラフ畳み込みニューラルネット(GCN)の表現力は層数とともに無限に成長していないことが知られている。
代わりに、gcn出力は正規化グラフラプラシアン行列の第1固有ベクトルにまたがる部分空間に接近し、"eigen-gap"(ラプラシアンの最初の2つの異なる固有値の違い)によって特徴づけられる収束率を持つ。
本稿では,観測可能なデータから計算した経験的共分散行列 $\bar{c}$ を与えられた場合,sparse graph laplacian matrix $l$ を$\bar{c}^{-1}$ に近似させながら,収束を遅くする望ましい固有ギャップを維持しながら,より深いgcnアーキテクチャを促進する。
具体的には、まず第一固有ベクトル(最も一般的な信号)と固有ギャップに制約のあるスパースグラフ学習問題を定義する。
半定値計画法(SDP)の高速近似により,局所最適固有ペアを一度に1つずつ計算する。
所望の固有ギャップを持つ計算された$L$はスペクトルとして正規化され、目標タスクに対するGCNの教師付きトレーニングに使用される。
実験の結果,提案手法は明示的な固有ギャップ最適化を伴わない競合方式と比較して,より深いGCNとより小さな誤差を生じることがわかった。
関連論文リスト
- Graph Generation via Spectral Diffusion [51.60814773299899]
本稿では,1)グラフラプラシア行列のスペクトル分解と2)拡散過程に基づく新しいグラフ生成モデルGRASPを提案する。
具体的には、固有ベクトルと固有値のサンプリングにデノナイジングモデルを用い、グラフラプラシアン行列と隣接行列を再構成する。
我々の置換不変モデルは各ノードの固有ベクトルに連結することでノードの特徴を扱える。
論文 参考訳（メタデータ） (2024-02-29T09:26:46Z) - Implicit Bias and Fast Convergence Rates for Self-attention [30.08303212679308]
トランスフォーマーのコアメカニズムであるセルフアテンションは、従来のニューラルネットワークと区別し、その優れたパフォーマンスを駆動する。
固定線形復号器をバイナリに固定した自己アテンション層をトレーニングする際の勾配降下(GD)の暗黙バイアスについて検討した。
W_t$ から $W_mm$ に対する最初の有限時間収束率と、注意写像のスペーサー化率を提供する。
論文 参考訳（メタデータ） (2024-02-08T15:15:09Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - One-step Bipartite Graph Cut: A Normalized Formulation and Its
Application to Scalable Subspace Clustering [56.81492360414741]
両部グラフの1ステップ正規化カットを、特に線形時間複雑性で実施する方法を示す。
本稿では、まず、正規化制約付き一段階二分グラフカット基準を特徴付けるとともに、そのトレース問題に対する等価性を理論的に証明する。
このカット基準を、適応アンカー学習、二部グラフ学習、一段階正規化二部グラフ分割を同時にモデル化するスケーラブルなサブスペースクラスタリングアプローチに拡張する。
論文 参考訳（メタデータ） (2023-05-12T11:27:20Z) - Stochastic Parallelizable Eigengap Dilation for Large Graph Clustering [12.544602297450533]
私たちは、ほとんどのエッジがクラスタ内に落ち、わずかにエッジがクラスタ間に落ちているノードのクラスタを特定することを目的としています。
スペクトルクラスタリングのコアステップは、対応するグラフラプラシア行列の固有分解を行う。
本稿では,SVDソルバを高速化し,スペクトルクラスタリングを行うために,スペクトルを並列化可能なアプローチを提案する。
論文 参考訳（メタデータ） (2022-07-29T10:13:07Z) - SpecNet2: Orthogonalization-free spectral embedding by neural networks [11.688030627514532]
本稿では、スペクトル埋め込みを計算するために、SpecNet2と呼ばれる新しいニューラルネットワークアプローチを提案する。
SpecNet2はまた、グラフ親和性行列の行と列のサンプリングを分離できる。
シミュレーションデータと画像データセット上でのSpecNet2の性能改善と計算効率を数値実験により実証した。
論文 参考訳（メタデータ） (2022-06-14T07:19:10Z) - Hybrid Model-based / Data-driven Graph Transform for Image Coding [54.31406300524195]
予測内残差ブロックを符号化するハイブリッドモデルベース/データ駆動方式を提案する。
変換行列の最初の$K$固有ベクトルは、安定性のための非対称離散正弦変換(ADST)のような統計モデルから導かれる。
WebPをベースライン画像として使用することにより、我々のハイブリッドグラフ変換は、デフォルトの離散コサイン変換(DCT)よりもエネルギーの圧縮が良く、KLTよりも安定性がよいことを示す。
論文 参考訳（メタデータ） (2022-03-02T15:36:44Z) - Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。
本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文 参考訳（メタデータ） (2021-09-10T07:01:15Z) - Does the $\ell_1$-norm Learn a Sparse Graph under Laplacian Constrained
Graphical Models? [13.572602792770288]
ラプラシアン制約ガウス図形モデルの下でグラフを学習する問題を考察する。
我々は、大きな正規化パラメータが驚くほど完全なグラフ、すなわちエッジで接続されたすべてのエッジにつながることを示した。
論文 参考訳（メタデータ） (2020-06-26T12:06:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。