論文の概要: Implicit vs Unfolded Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2111.06592v3
• Date: Mon, 19 May 2025 20:29:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:50.753513
• Title: Implicit vs Unfolded Graph Neural Networks
• Title（参考訳）: インプシット対展開型グラフニューラルネットワーク
• Authors: Yongyi Yang, Tang Liu, Yangkun Wang, Zengfeng Huang, David Wipf,
• Abstract要約: 暗黙的かつ展開的なGNNは、異なる規則間で強いノード分類精度が得られることを示す。 IGNNはメモリ効率がかなり高いが、UGNNモデルはユニークで統合されたグラフアテンション機構と伝搬規則をサポートしている。
• 参考スコア（独自算出の注目度）: 29.803948965931212
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It has been observed that message-passing graph neural networks (GNN) sometimes struggle to maintain a healthy balance between the efficient/scalable modeling of long-range dependencies across nodes while avoiding unintended consequences such oversmoothed node representations, sensitivity to spurious edges, or inadequate model interpretability. To address these and other issues, two separate strategies have recently been proposed, namely implicit and unfolded GNNs (that we abbreviate to IGNN and UGNN respectively). The former treats node representations as the fixed points of a deep equilibrium model that can efficiently facilitate arbitrary implicit propagation across the graph with a fixed memory footprint. In contrast, the latter involves treating graph propagation as unfolded descent iterations as applied to some graph-regularized energy function. While motivated differently, in this paper we carefully quantify explicit situations where the solutions they produce are equivalent and others where their properties sharply diverge. This includes the analysis of convergence, representational capacity, and interpretability. In support of this analysis, we also provide empirical head-to-head comparisons across multiple synthetic and public real-world node classification benchmarks. These results indicate that while IGNN is substantially more memory-efficient, UGNN models support unique, integrated graph attention mechanisms and propagation rules that can achieve strong node classification accuracy across disparate regimes such as adversarially-perturbed graphs, graphs with heterophily, and graphs involving long-range dependencies.
• Abstract（参考訳）: メッセージパッシンググラフニューラルネットワーク(GNN)は、ノード間の長距離依存性の効率的な/スケーリング可能なモデリング間の健全なバランスを維持するのに苦労することがある。 これらの問題と他の問題に対処するため、最近2つの戦略、すなわち暗黙のGNNと展開されたGNN(それぞれIGNNとUGNNの略)が提案されている。 前者はノード表現を深い平衡モデルの固定点として扱い、固定されたメモリフットプリントでグラフ間の任意の暗黙の伝播を効率的に行うことができる。 対照的に後者は、グラフ正規化エネルギー関数に適用されるように、グラフ伝播を非折りたたみ降下反復として扱う。 モチベーションは異なるが、本論文では、それらが生成する解が等価であり、他の性質が急激に分散する明示的な状況を慎重に定量化する。 これには収束、表現能力、解釈可能性の分析が含まれる。 この分析を支援するために、複数の合成および公開実世界のノード分類ベンチマークに対して、実験的な頭と頭の比較を行う。 これらの結果から,IGNN はメモリ効率が向上する一方,UGNN モデルでは一意に統合されたグラフアテンション機構と伝搬規則がサポートされ,逆摂動グラフ,ヘテロフィリーグラフ,長距離依存を含むグラフなど,異なる状況下でのノード分類精度の向上が期待できることがわかった。

関連論文リスト

• Oversmoothing as Loss of Sign: Towards Structural Balance in Graph Neural Networks [54.62268052283014]
  オーバースムーシングはグラフニューラルネットワーク(GNN)において一般的な問題である 反過剰化手法の3つの主要なクラスは、数学的に符号付きグラフ上のメッセージパッシングと解釈できる。 負のエッジはノードをある程度撃退することができ、これらのメソッドが過剰なスムースを緩和する方法に関する深い洞察を提供する。
  論文  参考訳（メタデータ） (2025-02-17T03:25:36Z)
• Conditional Distribution Learning on Graphs [15.730933577970687]
  半教師付きグラフ分類のためのグラフ構造化データからグラフ表現を学習する条件分布学習(CDL)法を提案する。 具体的には、元の特徴に対して弱機能および強拡張機能の条件分布を整列するエンドツーエンドグラフ表現学習モデルを提案する。
  論文  参考訳（メタデータ） (2024-11-20T07:26:36Z)
• SF-GNN: Self Filter for Message Lossless Propagation in Deep Graph Neural Network [38.669815079957566]
  グラフニューラルネットワーク(GNN)は,グラフの伝播と集約によるグラフ構造情報の符号化を主目的とする。 等質グラフ、異質グラフ、知識グラフのようなより複雑なグラフなど、複数の種類のグラフの表現学習において優れた性能を発揮した。 深部GNNの性能劣化現象に対して,新しい視点を提案する。
  論文  参考訳（メタデータ） (2024-07-03T02:40:39Z)
• Universally Robust Graph Neural Networks by Preserving Neighbor Similarity [5.660584039688214]
  NSPGNNと呼ばれる新しい頑健なモデルを導入し、隣接する類似性誘導伝搬を監督するために、二重kNNグラフパイプラインを組み込んだ。 ホモ親和グラフとヘテロ親和グラフの両方の実験は、最先端の手法と比較してNSPGNNの普遍的堅牢性を検証する。
  論文  参考訳（メタデータ） (2024-01-18T06:57:29Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• A Fractional Graph Laplacian Approach to Oversmoothing [15.795926248847026]
  非直交グラフから有向グラフへのオーバースムーシングの概念を一般化する。 非局所力学を記述した分数グラフ Laplacian Neural ODE を提案する。 グラフのディリクレエネルギーの収束に関して、我々の方法はより柔軟である。
  論文  参考訳（メタデータ） (2023-05-22T14:52:33Z)
• A Non-Asymptotic Analysis of Oversmoothing in Graph Neural Networks [33.35609077417775]
  非漸近解析により,この現象の背後にあるメカニズムを特徴づける。 混合効果がデノナイジング効果を支配し始めると,過スムージングが生じることを示す。 以上の結果から,PPRは深い層での過度なスムース化を緩和するが,PPRベースのアーキテクチャは依然として浅い深さで最高の性能を発揮することが示唆された。
  論文  参考訳（メタデータ） (2022-12-21T00:33:59Z)
• Resisting Graph Adversarial Attack via Cooperative Homophilous Augmentation [60.50994154879244]
  最近の研究では、グラフニューラルネットワークは弱く、小さな摂動によって簡単に騙されることが示されている。 本研究では,グラフインジェクションアタック(Graph Injection Attack)という,新興だが重要な攻撃に焦点を当てる。 本稿では,グラフデータとモデルの協調的同好性増強によるGIAに対する汎用防衛フレームワークCHAGNNを提案する。
  論文  参考訳（メタデータ） (2022-11-15T11:44:31Z)
• MGNNI: Multiscale Graph Neural Networks with Implicit Layers [53.75421430520501]
  暗黙グラフニューラルネットワーク(GNN)は、基礎となるグラフの長距離依存性をキャプチャするために提案されている。 暗黙的GNNの2つの弱点は、長距離依存を捉えるための限られた有効範囲による制約付き表現性と、複数の解像度でグラフ上のマルチスケール情報をキャプチャする能力の欠如である。 グラフ上のマルチスケール構造をモデル化できる暗黙の層(MGNNI)を持つマルチスケールグラフニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-10-15T18:18:55Z)
• Relation Embedding based Graph Neural Networks for Handling Heterogeneous Graph [58.99478502486377]
  我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。 具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
  論文  参考訳（メタデータ） (2022-09-23T05:24:18Z)
• Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training [82.68805025636165]
  トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。 私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。 さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
  論文  参考訳（メタデータ） (2022-06-23T20:12:51Z)
• Descent Steps of a Relation-Aware Energy Produce Heterogeneous Graph Neural Networks [25.59092732148598]
  不均一グラフニューラルネットワーク(GNN)は、半教師付き学習環境においてノード分類タスクにおいて高い性能を達成する。 本稿では、新しい関係認識エネルギー関数を導出する最適化ステップから層を導出する異種GNNアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-06-22T13:48:08Z)
• ES-GNN: Generalizing Graph Neural Networks Beyond Homophily with Edge Splitting [32.69196871253339]
  本稿では,学習タスクに関係のないグラフエッジを適応的に識別する新しいエッジ分割GNN(ES-GNN)フレームワークを提案する。 本稿では,ES-GNNを非交叉グラフ記述問題の解とみなすことができることを示す。
  論文  参考訳（メタデータ） (2022-05-27T01:29:03Z)
• Graphon-aided Joint Estimation of Multiple Graphs [24.077455621015552]
  観測結果から複数のネットワークのトポロジを推定する問題を考察する。 これは非パラメトリックなモデルであり、潜在的に異なるサイズのグラフを描画することができる。
  論文  参考訳（メタデータ） (2022-02-11T15:20:44Z)
• Explicit Pairwise Factorized Graph Neural Network for Semi-Supervised Node Classification [59.06717774425588]
  本稿では,グラフ全体を部分的に観測されたマルコフ確率場としてモデル化するEPFGNN(Explicit Pairwise Factorized Graph Neural Network)を提案する。 出力-出力関係をモデル化するための明示的なペアワイズ要素を含み、入力-出力関係をモデル化するためにGNNバックボーンを使用する。 本研究では,グラフ上での半教師付きノード分類の性能を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2021-07-27T19:47:53Z)
• On the Importance of Sampling in Learning Graph Convolutional Networks [13.713485304798368]
  Graph Convolutional Networks (GCNs) は、様々なグラフ関連アプリケーションにおいて、目覚ましい進歩を遂げている。 その成功にもかかわらず、大きなグラフ上でのgcnのトレーニングは計算とメモリの問題に苦しむ。 メモリ予算下で任意のサンプリングメソッドを高速化できる一般的なtextbftextitdoubly variance reductionスキーマを記述・解析する。
  論文  参考訳（メタデータ） (2021-03-03T21:31:23Z)
• Block-Approximated Exponential Random Graphs [77.4792558024487]
  指数乱グラフ(ERG)の分野における重要な課題は、大きなグラフ上の非自明なERGの適合である。 本稿では,非自明なERGに対する近似フレームワークを提案する。 我々の手法は、数百万のノードからなるスパースグラフにスケーラブルである。
  論文  参考訳（メタデータ） (2020-02-14T11:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。