論文の概要: Towards Understanding Graph Neural Networks: An Algorithm Unrolling Perspective

• arxiv url: http://arxiv.org/abs/2206.04471v1
• Date: Thu, 9 Jun 2022 12:54:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 15:52:37.240034
• Title: Towards Understanding Graph Neural Networks: An Algorithm Unrolling Perspective
• Title（参考訳）: グラフニューラルネットワークの理解に向けて : パースペクティブを提示するアルゴリズム
• Authors: Zepeng Zhang and Ziping Zhao
• Abstract要約: 本稿では,グラフ信号の復号化問題に対して,truncated Optimizationアルゴリズムに基づいて構築されたアンロールネットワークのクラスを紹介する。 GNNモデルのトレーニングプロセスは、低レベルのGSD問題による二段階最適化問題の解決と見なすことができる。 UGDGNNという表現モデル、すなわち、非線形勾配勾配GNNは、魅力的な理論的性質を継承する。
• 参考スコア（独自算出の注目度）: 9.426760895586428
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The graph neural network (GNN) has demonstrated its superior performance in various applications. The working mechanism behind it, however, remains mysterious. GNN models are designed to learn effective representations for graph-structured data, which intrinsically coincides with the principle of graph signal denoising (GSD). Algorithm unrolling, a "learning to optimize" technique, has gained increasing attention due to its prospects in building efficient and interpretable neural network architectures. In this paper, we introduce a class of unrolled networks built based on truncated optimization algorithms (e.g., gradient descent and proximal gradient descent) for GSD problems. They are shown to be tightly connected to many popular GNN models in that the forward propagations in these GNNs are in fact unrolled networks serving specific GSDs. Besides, the training process of a GNN model can be seen as solving a bilevel optimization problem with a GSD problem at the lower level. Such a connection brings a fresh view of GNNs, as we could try to understand their practical capabilities from their GSD counterparts, and it can also motivate designing new GNN models. Based on the algorithm unrolling perspective, an expressive model named UGDGNN, i.e., unrolled gradient descent GNN, is further proposed which inherits appealing theoretical properties. Extensive numerical simulations on seven benchmark datasets demonstrate that UGDGNN can achieve superior or competitive performance over the state-of-the-art models.
• Abstract（参考訳）: graph neural network (gnn) は様々なアプリケーションにおいて優れた性能を示している。 しかし、その背後にある仕組みは謎のままだ。 GNNモデルはグラフ構造化データの効率的な表現を学習するために設計されており、これは本質的にグラフ信号のデノイング(GSD)の原理と一致する。 アルゴリズムのアンローリングは"最適化のための学習"であり、効率的で解釈可能なニューラルネットワークアーキテクチャの構築への期待から注目を集めている。 本稿では,gsd問題に対する縮小最適化アルゴリズム(勾配降下,近位勾配降下など)に基づいて構築された未ロールネットワークのクラスを提案する。 これらのGNNは、多くの一般的なGNNモデルと密接に結びついており、これらのGNNの前方伝播は、実際には特定のGSDを提供するアンロールネットワークである。 さらに、GNNモデルのトレーニングプロセスは、低レベルにおけるGSD問題による双レベル最適化問題の解決と見なすことができる。 このような接続によってGNNの新たなビューがもたらされ、GSDモデルからその実用能力を理解することができ、また新しいGNNモデルの設計を動機付けることができます。 アルゴリズムの展開の観点からは, ugdgnn という表現モデル, 即ち, unrolledgradient descent gnn が提案され, その理論特性を継承している。 7つのベンチマークデータセットの大規模な数値シミュレーションにより、UGDGNNは最先端モデルよりも優れた、あるいは競争的な性能を達成できることを示した。

関連論文リスト

• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• GNN-Ensemble: Towards Random Decision Graph Neural Networks [3.7620848582312405]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データに広く応用されている。 GNNは、大量のテストデータに基づいて推論を行うために、限られた量のトレーニングデータから潜伏パターンを学習する必要がある。 本稿では、GNNのアンサンブル学習を一歩前進させ、精度、堅牢性、敵攻撃を改善した。
  論文  参考訳（メタデータ） (2023-03-20T18:24:01Z)
• Understanding and Improving Deep Graph Neural Networks: A Probabilistic Graphical Model Perspective [22.82625446308785]
  グラフニューラルネットワーク(GNN)の理解のための新しい視点を提案する。 本研究では,深いGNNに着目し,その理解のための新しい視点を提案する。 我々はより強力なGNN:結合グラフニューラルネットワーク(CoGNet)を設計する。
  論文  参考訳（メタデータ） (2023-01-25T12:02:12Z)
• Relation Embedding based Graph Neural Networks for Handling Heterogeneous Graph [58.99478502486377]
  我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。 具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
  論文  参考訳（メタデータ） (2022-09-23T05:24:18Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)
• Self-Enhanced GNN: Improving Graph Neural Networks Using Model Outputs [20.197085398581397]
  グラフニューラルネットワーク(GNN)は最近、グラフベースのタスクにおける優れたパフォーマンスのために、多くの注目を集めている。 本稿では,既存のGNNモデルの出力を用いて,入力データの品質を向上させる自己強化型GNN(SEG)を提案する。 SEGは、GCN、GAT、SGCといったよく知られたGNNモデルのさまざまなデータセットのパフォーマンスを一貫して改善する。
  論文  参考訳（メタデータ） (2020-02-18T12:27:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。