論文の概要: Towards Invariance to Node Identifiers in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2502.13660v1
• Date: Wed, 19 Feb 2025 12:12:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 13:59:23.228698
• Title: Towards Invariance to Node Identifiers in Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークにおけるノード同定への不変性に向けて
• Authors: Maya Bechler-Speicher, Moshe Eliasof, Carola-Bibiane Schonlieb, Ran Gilad-Bachrach, Amir Globerson,
• Abstract要約: グラフニューラルネットワーク(GNN)は、メッセージパッシング構造のため、表現力に制限があることが知られている。 この制限を回避する1つのメカニズムは、ユニークなノード識別子(ID)を追加することである。 本稿では、IDフレームワークの重要な制限を強調し、それに対応するためのアプローチを提案する。
• 参考スコア（独自算出の注目度）: 28.999284027902693
• License:
• Abstract: Message-Passing Graph Neural Networks (GNNs) are known to have limited expressive power, due to their message passing structure. One mechanism for circumventing this limitation is to add unique node identifiers (IDs), which break the symmetries that underlie the expressivity limitation. In this work, we highlight a key limitation of the ID framework, and propose an approach for addressing it. We begin by observing that the final output of the GNN should clearly not depend on the specific IDs used. We then show that in practice this does not hold, and thus the learned network does not possess this desired structural property. Such invariance to node IDs may be enforced in several ways, and we discuss their theoretical properties. We then propose a novel regularization method that effectively enforces ID invariance to the network. Extensive evaluations on both real-world and synthetic tasks demonstrate that our approach significantly improves ID invariance and, in turn, often boosts generalization performance.
• Abstract（参考訳）: メッセージパッシンググラフニューラルネットワーク(GNN)は、メッセージパッシング構造のため、表現力に制限があることが知られている。 この制限を回避するための1つのメカニズムは、表現力の制限を過小評価する対称性を破るユニークなノード識別子(ID)を追加することである。 本稿では、IDフレームワークの重要な制限を強調し、それに対応するためのアプローチを提案する。 まず、GNNの最終的な出力は、使用する特定のIDに依存しないようにすることから始める。 したがって、学習したネットワークは、この所望の構造的特性を持っていない。 ノードIDに対するそのような不変性は、いくつかの方法で適用でき、それらの理論的性質について論じる。 次に,ネットワークに対するID不変性を効果的に適用する新たな正規化手法を提案する。 実世界のタスクと合成タスクの両方に対する広範囲な評価は、我々のアプローチがIDの不変性を著しく改善し、その結果、一般化性能が向上することを示している。

関連論文リスト

• On the Utilization of Unique Node Identifiers in Graph Neural Networks [37.10284674841867]
  グラフニューラルネットワークは、メッセージパッシング構造のため、本質的に表現上の制限がある。 最近の研究は、ユニークなノード識別子(UID)を使用することでこれらの制限を克服できることを示唆している。
  論文  参考訳（メタデータ） (2024-11-04T17:03:52Z)
• Understanding Virtual Nodes: Oversmoothing, Oversquashing, and Node Heterogeneity [4.59357989139429]
  仮想ノード(VN)によるMPNNの拡張は、さまざまなベンチマークのパフォーマンス向上に寄与している。 VNは、通常、表現力を維持するための非平滑化アプローチの複製を避ける。 グラフ構造に基づいてノードに対して異なる感度を持つ計算複雑性を持つVNの変種を提案する。
  論文  参考訳（メタデータ） (2024-05-22T10:51:12Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• Asynchronous Algorithmic Alignment with Cocycles [22.993659485873245]
  グラフニューラルネットワーク(GNN)におけるメッセージパッシングを利用した最先端のニューラルネットワーク推論 典型的なGNNは、メッセージ関数の定義と呼び出しの区別を曖昧にし、ノードが隣人にメッセージを同期的に送信することを強制する。 本研究では,ノード状態更新とメッセージ関数呼び出しの概念を明確に分離する。
  論文  参考訳（メタデータ） (2023-06-27T17:13:20Z)
• ResNorm: Tackling Long-tailed Degree Distribution Issue in Graph Neural Networks via Normalization [80.90206641975375]
  本稿では,正規化によるGNNの性能向上に焦点をあてる。 グラフ中のノード次数の長期分布を調べることにより、GNNの新しい正規化法を提案する。 ResNormの$scale$操作は、尾ノードの精度を向上させるために、ノード単位の標準偏差(NStd)分布を再設定する。
  論文  参考訳（メタデータ） (2022-06-16T13:49:09Z)
• Identity-aware Graph Neural Networks [63.6952975763946]
  グラフニューラルネットワーク(ID-GNN)を1-WLテストよりも表現力の高いメッセージクラスを開発しています。 ID-GNNは、メッセージパッシング中にノードのIDを誘導的に考慮することにより、既存のGNNアーキテクチャを拡張します。 既存のGNNをID-GNNに変換すると、挑戦ノード、エッジ、グラフプロパティ予測タスクの平均40%の精度が向上することを示す。
  論文  参考訳（メタデータ） (2021-01-25T18:59:01Z)
• Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning [63.97983530843762]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。 より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。 本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
  論文  参考訳（メタデータ） (2020-08-31T23:15:40Z)
• Complete the Missing Half: Augmenting Aggregation Filtering with Diversification for Graph Convolutional Networks [46.14626839260314]
  我々は、現在のグラフニューラルネットワーク(GNN)が、特定のデータセットで学習するすべてのGNNメソッドの根底にある問題である可能性を示している。 集約操作をそれらの双対、すなわち、ノードをより明確にし、アイデンティティを保存する多様化演算子で拡張する。 このような拡張は、アグリゲーションを2チャネルのフィルタリングプロセスに置き換え、理論上、ノード表現を豊かにするのに役立つ。 実験では,モデルの望ましい特性と,9ノード分類タスクのベースライン上での大幅な性能向上について検討した。
  論文  参考訳（メタデータ） (2020-08-20T08:45:16Z)
• Towards Deeper Graph Neural Networks with Differentiable Group Normalization [61.20639338417576]
  グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。 オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。 2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
  論文  参考訳（メタデータ） (2020-06-12T07:18:02Z)
• EdgeNets:Edge Varying Graph Neural Networks [179.99395949679547]
  本稿では、EdgeNetの概念を通じて、最先端グラフニューラルネットワーク(GNN)を統一する一般的なフレームワークを提案する。 EdgeNetはGNNアーキテクチャであり、異なるノードが異なるパラメータを使って異なる隣人の情報を測定することができる。 これは、ノードが実行でき、既存のグラフ畳み込みニューラルネットワーク(GCNN)とグラフアテンションネットワーク(GAT)の1つの定式化の下で包含できる一般的な線形で局所的な操作である。
  論文  参考訳（メタデータ） (2020-01-21T15:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。