論文の概要: Implicit vs Unfolded Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2111.06592v1
• Date: Fri, 12 Nov 2021 07:49:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-15 14:19:00.338433
• Title: Implicit vs Unfolded Graph Neural Networks
• Title（参考訳）: 暗黙対未折グラフニューラルネットワーク
• Authors: Yongyi Yang, Yangkun Wang, Zengfeng Huang, David Wipf
• Abstract要約: グラフニューラルネットワーク(GNN)は、長期依存のモデリングと意図しない結果の回避の間の健全なバランスを維持するのに苦労することがある。 最近、2つの戦略、すなわち暗黙と展開されたGNNが提案されている。 我々は、様々な合成および公的な実世界のベンチマークに対して、実験的な頭と頭の比較を行う。
• 参考スコア（独自算出の注目度）: 18.084842625063082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It has been observed that graph neural networks (GNN) sometimes struggle to maintain a healthy balance between modeling long-range dependencies across nodes while avoiding unintended consequences such as oversmoothed node representations. To address this issue (among other things), two separate strategies have recently been proposed, namely implicit and unfolded GNNs. The former treats node representations as the fixed points of a deep equilibrium model that can efficiently facilitate arbitrary implicit propagation across the graph with a fixed memory footprint. In contrast, the latter involves treating graph propagation as the unfolded descent iterations as applied to some graph-regularized energy function. While motivated differently, in this paper we carefully elucidate the similarity and differences of these methods, quantifying explicit situations where the solutions they produced may actually be equivalent and others where behavior diverges. This includes the analysis of convergence, representational capacity, and interpretability. We also provide empirical head-to-head comparisons across a variety of synthetic and public real-world benchmarks.
• Abstract（参考訳）: グラフニューラルネットワーク(gnn)は、ノード間の長距離依存関係のモデリングと、ノード表現の過剰など意図しない結果の回避との間に、健全なバランスを維持するのに苦労することがある。 この問題に対処するために、最近2つの戦略、すなわち暗黙と展開されたgnnが提案されている。 前者はノード表現を深い平衡モデルの固定点として扱い、固定メモリフットプリントでグラフの任意の暗黙的伝播を効率的に行うことができる。 対照的に、後者はグラフの伝播を、あるグラフ正規化エネルギー関数に適用される未開な降下反復として扱うことを含む。 本稿では,これらの手法の類似点と相違点を慎重に解明し,それらが生成した解が実際に等価である場合や,振る舞いが分岐する場合の明示的な状況を定量化する。 これには収束、表現能力、解釈可能性の分析が含まれる。 また、さまざまな合成および公開実世界のベンチマークに対して、実験的な頭と頭の比較を行う。

関連論文リスト

• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• A Fractional Graph Laplacian Approach to Oversmoothing [15.795926248847026]
  非直交グラフから有向グラフへのオーバースムーシングの概念を一般化する。 非局所力学を記述した分数グラフ Laplacian Neural ODE を提案する。 グラフのディリクレエネルギーの収束に関して、我々の方法はより柔軟である。
  論文  参考訳（メタデータ） (2023-05-22T14:52:33Z)
• A Non-Asymptotic Analysis of Oversmoothing in Graph Neural Networks [33.35609077417775]
  非漸近解析により,この現象の背後にあるメカニズムを特徴づける。 混合効果がデノナイジング効果を支配し始めると,過スムージングが生じることを示す。 以上の結果から,PPRは深い層での過度なスムース化を緩和するが,PPRベースのアーキテクチャは依然として浅い深さで最高の性能を発揮することが示唆された。
  論文  参考訳（メタデータ） (2022-12-21T00:33:59Z)
• Resisting Graph Adversarial Attack via Cooperative Homophilous Augmentation [60.50994154879244]
  最近の研究では、グラフニューラルネットワークは弱く、小さな摂動によって簡単に騙されることが示されている。 本研究では,グラフインジェクションアタック(Graph Injection Attack)という,新興だが重要な攻撃に焦点を当てる。 本稿では,グラフデータとモデルの協調的同好性増強によるGIAに対する汎用防衛フレームワークCHAGNNを提案する。
  論文  参考訳（メタデータ） (2022-11-15T11:44:31Z)
• Relation Embedding based Graph Neural Networks for Handling Heterogeneous Graph [58.99478502486377]
  我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。 具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
  論文  参考訳（メタデータ） (2022-09-23T05:24:18Z)
• Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training [82.68805025636165]
  トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。 私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。 さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
  論文  参考訳（メタデータ） (2022-06-23T20:12:51Z)
• Descent Steps of a Relation-Aware Energy Produce Heterogeneous Graph Neural Networks [25.59092732148598]
  不均一グラフニューラルネットワーク(GNN)は、半教師付き学習環境においてノード分類タスクにおいて高い性能を達成する。 本稿では、新しい関係認識エネルギー関数を導出する最適化ステップから層を導出する異種GNNアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-06-22T13:48:08Z)
• Graphon-aided Joint Estimation of Multiple Graphs [24.077455621015552]
  観測結果から複数のネットワークのトポロジを推定する問題を考察する。 これは非パラメトリックなモデルであり、潜在的に異なるサイズのグラフを描画することができる。
  論文  参考訳（メタデータ） (2022-02-11T15:20:44Z)
• Explicit Pairwise Factorized Graph Neural Network for Semi-Supervised Node Classification [59.06717774425588]
  本稿では,グラフ全体を部分的に観測されたマルコフ確率場としてモデル化するEPFGNN(Explicit Pairwise Factorized Graph Neural Network)を提案する。 出力-出力関係をモデル化するための明示的なペアワイズ要素を含み、入力-出力関係をモデル化するためにGNNバックボーンを使用する。 本研究では,グラフ上での半教師付きノード分類の性能を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2021-07-27T19:47:53Z)
• On the Importance of Sampling in Learning Graph Convolutional Networks [13.713485304798368]
  Graph Convolutional Networks (GCNs) は、様々なグラフ関連アプリケーションにおいて、目覚ましい進歩を遂げている。 その成功にもかかわらず、大きなグラフ上でのgcnのトレーニングは計算とメモリの問題に苦しむ。 メモリ予算下で任意のサンプリングメソッドを高速化できる一般的なtextbftextitdoubly variance reductionスキーマを記述・解析する。
  論文  参考訳（メタデータ） (2021-03-03T21:31:23Z)
• Block-Approximated Exponential Random Graphs [77.4792558024487]
  指数乱グラフ(ERG)の分野における重要な課題は、大きなグラフ上の非自明なERGの適合である。 本稿では,非自明なERGに対する近似フレームワークを提案する。 我々の手法は、数百万のノードからなるスパースグラフにスケーラブルである。
  論文  参考訳（メタデータ） (2020-02-14T11:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。