論文の概要: LEReg: Empower Graph Neural Networks with Local Energy Regularization

• arxiv url: http://arxiv.org/abs/2203.10565v1
• Date: Sun, 20 Mar 2022 14:38:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 18:14:16.760065
• Title: LEReg: Empower Graph Neural Networks with Local Energy Regularization
• Title（参考訳）: LEReg: 局所エネルギー正規化を備えたグラフニューラルネットワーク
• Authors: Xiaojun Ma, Hanyue Chen, Guojie Song
• Abstract要約: グラフニューラルネットワーク(GNN)は、隣接行列とノードの特徴を、各畳み込み層のエッジを通過するメッセージによってノード表現にマッピングする。 既存のGNNはグラフのすべての部分を均一に扱うため、各ユニークな部分に対して最も情報性の高いメッセージを適応的に渡すことは困難である。 メッセージパッシングを局所的に検討する正規化用語として,(1)エネルギー内レグと(2)エネルギー間レグの2つを提案する。
• 参考スコア（独自算出の注目度）: 20.663228831150725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Researches on analyzing graphs with Graph Neural Networks (GNNs) have been receiving more and more attention because of the great expressive power of graphs. GNNs map the adjacency matrix and node features to node representations by message passing through edges on each convolution layer. However, the message passed through GNNs is not always beneficial for all parts in a graph. Specifically, as the data distribution is different over the graph, the receptive field (the farthest nodes that a node can obtain information from) needed to gather information is also different. Existing GNNs treat all parts of the graph uniformly, which makes it difficult to adaptively pass the most informative message for each unique part. To solve this problem, we propose two regularization terms that consider message passing locally: (1) Intra-Energy Reg and (2) Inter-Energy Reg. Through experiments and theoretical discussion, we first show that the speed of smoothing of different parts varies enormously and the topology of each part affects the way of smoothing. With Intra-Energy Reg, we strengthen the message passing within each part, which is beneficial for getting more useful information. With Inter-Energy Reg, we improve the ability of GNNs to distinguish different nodes. With the proposed two regularization terms, GNNs are able to filter the most useful information adaptively, learn more robustly and gain higher expressiveness. Moreover, the proposed LEReg can be easily applied to other GNN models with plug-and-play characteristics. Extensive experiments on several benchmarks verify that GNNs with LEReg outperform or match the state-of-the-art methods. The effectiveness and efficiency are also empirically visualized with elaborate experiments.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)を用いたグラフ解析の研究は、グラフの表現力が大きいことから、ますます注目を集めている。 GNNは、隣接行列とノードの特徴を、各畳み込み層のエッジを通るメッセージによってノード表現にマップする。 しかし、GNNを通して渡されるメッセージは、グラフのすべての部分に必ずしも有益ではない。 具体的には、データ分布がグラフ上で異なるため、情報収集に必要な受容場(ノードが情報を取得することができる最も遠いノード)も異なる。 既存のGNNはグラフのすべての部分を均一に扱うため、各ユニークな部分に対して最も情報性の高いメッセージを適応的に渡すことは困難である。 この問題を解決するために,(1)エネルギー内regと(2)エネルギー間regという2つの正規化項を提案する。 実験と理論的議論を通じて,まず,各部分の平滑化速度が大きく変化し,各部分のトポロジーが平滑化の仕方に影響を及ぼすことを示した。 エネルギー内レグでは、各部分内のメッセージパッシングを強化し、より有用な情報を得るのに役立ちます。 Inter-Energy Regにより、GNNが異なるノードを区別する能力が改善される。 提案された2つの正規化項により、GNNは最も有用な情報を適応的にフィルタリングし、より堅牢に学習し、表現力を高めることができる。 さらに,LERegはプラグアンドプレイ特性を持つ他のGNNモデルにも容易に適用可能である。 いくつかのベンチマークでの大規模な実験では、LERegによるGNNのパフォーマンスが、最先端の手法と一致しているか検証している。 有効性と効率は、精巧な実験で実証的に可視化される。

関連論文リスト

• A Manifold Perspective on the Statistical Generalization of Graph Neural Networks [84.01980526069075]
  我々は、スペクトル領域の多様体からサンプリングされたグラフ上のGNNの統計的一般化理論を確立するために多様体の視点を取る。 我々はGNNの一般化境界が対数スケールのグラフのサイズとともに線形に減少し、フィルタ関数のスペクトル連続定数とともに線形的に増加することを証明した。
  論文  参考訳（メタデータ） (2024-06-07T19:25:02Z)
• Spatio-Spectral Graph Neural Networks [50.277959544420455]
  比スペクトルグラフネットワーク(S$2$GNN)を提案する。 S$2$GNNは空間的およびスペクトル的にパラメータ化されたグラフフィルタを組み合わせる。 S$2$GNNsは、MPGNNsよりも厳密な近似理論誤差境界を生じる。
  論文  参考訳（メタデータ） (2024-05-29T14:28:08Z)
• Self-Attention Empowered Graph Convolutional Network for Structure Learning and Node Embedding [5.164875580197953]
  グラフ構造化データの表現学習では、多くの人気のあるグラフニューラルネットワーク(GNN)が長距離依存をキャプチャできない。 本稿では,自己注意型グラフ畳み込みネットワーク(GCN-SA)と呼ばれる新しいグラフ学習フレームワークを提案する。 提案手法はノードレベルの表現学習において例外的な一般化能力を示す。
  論文  参考訳（メタデータ） (2024-03-06T05:00:31Z)
• GGNNs : Generalizing GNNs using Residual Connections and Weighted Message Passing [0.0]
  GNNはグラフ内の関係やパターンを捕捉し、効果的な学習と予測タスクを可能にする。 GNNの一般化力は、層間のメッセージパッシング機構に起因すると一般的に信じられている。 提案手法は,各ノードにアキュミュレートする前にメッセージを重み付けし,Residual接続を追加することによって,メッセージパッシング機構をさらに改良する。
  論文  参考訳（メタデータ） (2023-11-26T22:22:38Z)
• Relation Embedding based Graph Neural Networks for Handling Heterogeneous Graph [58.99478502486377]
  我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。 具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
  論文  参考訳（メタデータ） (2022-09-23T05:24:18Z)
• Discovering the Representation Bottleneck of Graph Neural Networks from Multi-order Interactions [51.597480162777074]
  グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。 最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。 科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
  論文  参考訳（メタデータ） (2022-05-15T11:38:14Z)
• Meta-Weight Graph Neural Network: Push the Limits Beyond Global Homophily [24.408557217909316]
  グラフニューラルネットワーク(GNN)は,グラフデータマイニングに強い表現力を示す。 しかしながら、すべてのグラフがホモ親和性を持つわけではないが、同じグラフであっても、分布は著しく異なるかもしれない。 異なるノードに対するグラフ畳み込み層を適応的に構築するメタウェイトグラフニューラルネットワーク(MWGNN)を提案する。
  論文  参考訳（メタデータ） (2022-03-19T09:27:38Z)
• Graph Feature Gating Networks [31.20878472589719]
  本稿では,グラフ信号の雑音化問題に基づく一般グラフ特徴ゲーティングネットワーク(gfgn)を提案する。 また、GFGNの下で3つのグラフフィルターを導入し、機能寸法から異なるレベルのコントリビューションを可能にします。
  論文  参考訳（メタデータ） (2021-05-10T16:33:58Z)
• Permutation-equivariant and Proximity-aware Graph Neural Networks with Stochastic Message Passing [88.30867628592112]
  グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。 置換等価性と近接認識性は、GNNにとって非常に望ましい2つの重要な特性である。 既存のGNNは、主にメッセージパッシング機構に基づいており、同時に2つの特性を保存できないことを示す。 ノードの近さを保つため,既存のGNNをノード表現で拡張する。
  論文  参考訳（メタデータ） (2020-09-05T16:46:56Z)
• Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning [63.97983530843762]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。 より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。 本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
  論文  参考訳（メタデータ） (2020-08-31T23:15:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。