Fugu-MT 論文翻訳(概要): Implicit vs Unfolded Graph Neural Networks

論文の概要: Implicit vs Unfolded Graph Neural Networks

arxiv url: http://arxiv.org/abs/2111.06592v3
Date: Mon, 19 May 2025 20:29:44 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-21 14:49:50.753513
Title: Implicit vs Unfolded Graph Neural Networks
Title（参考訳）: インプシット対展開型グラフニューラルネットワーク
Authors: Yongyi Yang, Tang Liu, Yangkun Wang, Zengfeng Huang, David Wipf,
Abstract要約: 暗黙的かつ展開的なGNNは、異なる規則間で強いノード分類精度が得られることを示す。 IGNNはメモリ効率がかなり高いが、UGNNモデルはユニークで統合されたグラフアテンション機構と伝搬規則をサポートしている。
参考スコア（独自算出の注目度）: 29.803948965931212
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: It has been observed that message-passing graph neural networks (GNN) sometimes struggle to maintain a healthy balance between the efficient/scalable modeling of long-range dependencies across nodes while avoiding unintended consequences such oversmoothed node representations, sensitivity to spurious edges, or inadequate model interpretability. To address these and other issues, two separate strategies have recently been proposed, namely implicit and unfolded GNNs (that we abbreviate to IGNN and UGNN respectively). The former treats node representations as the fixed points of a deep equilibrium model that can efficiently facilitate arbitrary implicit propagation across the graph with a fixed memory footprint. In contrast, the latter involves treating graph propagation as unfolded descent iterations as applied to some graph-regularized energy function. While motivated differently, in this paper we carefully quantify explicit situations where the solutions they produce are equivalent and others where their properties sharply diverge. This includes the analysis of convergence, representational capacity, and interpretability. In support of this analysis, we also provide empirical head-to-head comparisons across multiple synthetic and public real-world node classification benchmarks. These results indicate that while IGNN is substantially more memory-efficient, UGNN models support unique, integrated graph attention mechanisms and propagation rules that can achieve strong node classification accuracy across disparate regimes such as adversarially-perturbed graphs, graphs with heterophily, and graphs involving long-range dependencies.
Abstract（参考訳）: メッセージパッシンググラフニューラルネットワーク(GNN)は、ノード間の長距離依存性の効率的な/スケーリング可能なモデリング間の健全なバランスを維持するのに苦労することがある。これらの問題と他の問題に対処するため、最近2つの戦略、すなわち暗黙のGNNと展開されたGNN(それぞれIGNNとUGNNの略)が提案されている。前者はノード表現を深い平衡モデルの固定点として扱い、固定されたメモリフットプリントでグラフ間の任意の暗黙の伝播を効率的に行うことができる。対照的に後者は、グラフ正規化エネルギー関数に適用されるように、グラフ伝播を非折りたたみ降下反復として扱う。モチベーションは異なるが、本論文では、それらが生成する解が等価であり、他の性質が急激に分散する明示的な状況を慎重に定量化する。これには収束、表現能力、解釈可能性の分析が含まれる。この分析を支援するために、複数の合成および公開実世界のノード分類ベンチマークに対して、実験的な頭と頭の比較を行う。これらの結果から,IGNN はメモリ効率が向上する一方,UGNN モデルでは一意に統合されたグラフアテンション機構と伝搬規則がサポートされ,逆摂動グラフ,ヘテロフィリーグラフ,長距離依存を含むグラフなど,異なる状況下でのノード分類精度の向上が期待できることがわかった。

関連論文リスト

Oversmoothing as Loss of Sign: Towards Structural Balance in Graph Neural Networks [54.62268052283014]
オーバースムーシングはグラフニューラルネットワーク(GNN)において一般的な問題である反過剰化手法の3つの主要なクラスは、数学的に符号付きグラフ上のメッセージパッシングと解釈できる。負のエッジはノードをある程度撃退することができ、これらのメソッドが過剰なスムースを緩和する方法に関する深い洞察を提供する。
論文参考訳（メタデータ） (2025-02-17T03:25:36Z)
NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文参考訳（メタデータ） (2023-06-14T09:21:15Z)
A Fractional Graph Laplacian Approach to Oversmoothing [15.795926248847026]
非直交グラフから有向グラフへのオーバースムーシングの概念を一般化する。非局所力学を記述した分数グラフ Laplacian Neural ODE を提案する。グラフのディリクレエネルギーの収束に関して、我々の方法はより柔軟である。
論文参考訳（メタデータ） (2023-05-22T14:52:33Z)
A Non-Asymptotic Analysis of Oversmoothing in Graph Neural Networks [33.35609077417775]
非漸近解析により,この現象の背後にあるメカニズムを特徴づける。混合効果がデノナイジング効果を支配し始めると,過スムージングが生じることを示す。以上の結果から,PPRは深い層での過度なスムース化を緩和するが,PPRベースのアーキテクチャは依然として浅い深さで最高の性能を発揮することが示唆された。
論文参考訳（メタデータ） (2022-12-21T00:33:59Z)
Resisting Graph Adversarial Attack via Cooperative Homophilous Augmentation [60.50994154879244]
最近の研究では、グラフニューラルネットワークは弱く、小さな摂動によって簡単に騙されることが示されている。本研究では,グラフインジェクションアタック(Graph Injection Attack)という,新興だが重要な攻撃に焦点を当てる。本稿では,グラフデータとモデルの協調的同好性増強によるGIAに対する汎用防衛フレームワークCHAGNNを提案する。
論文参考訳（メタデータ） (2022-11-15T11:44:31Z)
Relation Embedding based Graph Neural Networks for Handling Heterogeneous Graph [58.99478502486377]
我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
論文参考訳（メタデータ） (2022-09-23T05:24:18Z)
Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training [82.68805025636165]
トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
論文参考訳（メタデータ） (2022-06-23T20:12:51Z)
Descent Steps of a Relation-Aware Energy Produce Heterogeneous Graph Neural Networks [25.59092732148598]
不均一グラフニューラルネットワーク(GNN)は、半教師付き学習環境においてノード分類タスクにおいて高い性能を達成する。本稿では、新しい関係認識エネルギー関数を導出する最適化ステップから層を導出する異種GNNアーキテクチャを提案する。
論文参考訳（メタデータ） (2022-06-22T13:48:08Z)
Graphon-aided Joint Estimation of Multiple Graphs [24.077455621015552]
観測結果から複数のネットワークのトポロジを推定する問題を考察する。これは非パラメトリックなモデルであり、潜在的に異なるサイズのグラフを描画することができる。
論文参考訳（メタデータ） (2022-02-11T15:20:44Z)
Explicit Pairwise Factorized Graph Neural Network for Semi-Supervised Node Classification [59.06717774425588]
本稿では,グラフ全体を部分的に観測されたマルコフ確率場としてモデル化するEPFGNN(Explicit Pairwise Factorized Graph Neural Network)を提案する。出力-出力関係をモデル化するための明示的なペアワイズ要素を含み、入力-出力関係をモデル化するためにGNNバックボーンを使用する。本研究では,グラフ上での半教師付きノード分類の性能を効果的に向上できることを示す。
論文参考訳（メタデータ） (2021-07-27T19:47:53Z)
On the Importance of Sampling in Learning Graph Convolutional Networks [13.713485304798368]
Graph Convolutional Networks (GCNs) は、様々なグラフ関連アプリケーションにおいて、目覚ましい進歩を遂げている。その成功にもかかわらず、大きなグラフ上でのgcnのトレーニングは計算とメモリの問題に苦しむ。メモリ予算下で任意のサンプリングメソッドを高速化できる一般的なtextbftextitdoubly variance reductionスキーマを記述・解析する。
論文参考訳（メタデータ） (2021-03-03T21:31:23Z)
Block-Approximated Exponential Random Graphs [77.4792558024487]
指数乱グラフ(ERG)の分野における重要な課題は、大きなグラフ上の非自明なERGの適合である。本稿では,非自明なERGに対する近似フレームワークを提案する。我々の手法は、数百万のノードからなるスパースグラフにスケーラブルである。
論文参考訳（メタデータ） (2020-02-14T11:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。