論文の概要: Are High-Degree Representations Really Unnecessary in Equivariant Graph Neural Networks?

• arxiv url: http://arxiv.org/abs/2410.11443v2
• Date: Fri, 18 Oct 2024 13:09:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 10:25:32.845747
• Title: Are High-Degree Representations Really Unnecessary in Equivariant Graph Neural Networks?
• Title（参考訳）: 等変グラフニューラルネットワークにおける高次表現は本当に不要か?
• Authors: Jiacheng Cen, Anyi Li, Ning Lin, Yuxiang Ren, Zihe Wang, Wenbing Huang,
• Abstract要約: E(3)対称性を取り入れた等価グラフニューラルネットワーク(GNN)は、様々な科学的応用において大きな成功を収めている。 本稿では、$k$-fold回転や正則多面体を含む対称構造上の同変GNNの表現性について検討する。 我々は,高次ステアブルベクトルを組み込んだEGNNの高次バージョンであるHEGNNを提案する。
• 参考スコア（独自算出の注目度）: 12.755390259495805
• License:
• Abstract: Equivariant Graph Neural Networks (GNNs) that incorporate E(3) symmetry have achieved significant success in various scientific applications. As one of the most successful models, EGNN leverages a simple scalarization technique to perform equivariant message passing over only Cartesian vectors (i.e., 1st-degree steerable vectors), enjoying greater efficiency and efficacy compared to equivariant GNNs using higher-degree steerable vectors. This success suggests that higher-degree representations might be unnecessary. In this paper, we disprove this hypothesis by exploring the expressivity of equivariant GNNs on symmetric structures, including $k$-fold rotations and regular polyhedra. We theoretically demonstrate that equivariant GNNs will always degenerate to a zero function if the degree of the output representations is fixed to 1 or other specific values. Based on this theoretical insight, we propose HEGNN, a high-degree version of EGNN to increase the expressivity by incorporating high-degree steerable vectors while maintaining EGNN's efficiency through the scalarization trick. Our extensive experiments demonstrate that HEGNN not only aligns with our theoretical analyses on toy datasets consisting of symmetric structures, but also shows substantial improvements on more complicated datasets such as $N$-body and MD17. Our theoretical findings and empirical results potentially open up new possibilities for the research of equivariant GNNs.
• Abstract（参考訳）: E(3)対称性を取り入れた等価グラフニューラルネットワーク(GNN)は、様々な科学的応用において大きな成功を収めている。 最も成功したモデルの一つとして、EGNNは単純なスカラー化手法を利用して、カルトベクトル(例えば1次ステアブルベクトル)のみを経由する同変メッセージパッシングを行い、高次ステアブルベクトルを用いた同変GNNよりも高い効率と有効性を享受する。 この成功は、高次表現は不要かもしれないことを示唆している。 本稿では、$k$-fold回転や正則多面体を含む対称構造上の同変GNNの表現性を探索することによって、この仮説を否定する。 理論的には、出力表現の次数が 1 または他の特定の値に固定された場合、同変 GNN は常に零関数に退化する。 この理論的な知見に基づいて,EGNNの高次バージョンであるHEGNNを提案し,高次ステアブルベクトルを取り入れながら,スキャラライズ手法によりEGNNの効率を保ちながら,表現性を向上させる。 我々の広範な実験により,HEGNNは対称構造からなるおもちゃのデータセットに関する理論的解析と一致しているだけでなく,N$-bodyやMD17といったより複雑なデータセットについても大幅に改善されていることが示された。 我々の理論的知見と経験的結果は、同変GNNの研究に新たな可能性を開く可能性がある。

関連論文リスト

• Graph neural networks and non-commuting operators [4.912318087940015]
  我々は,グラフトン・タプルニューラルネットワークの極限理論を開発し,それを普遍的な伝達可能性定理の証明に利用する。 我々の理論的結果は、GNNのよく知られた移動可能性定理を、複数の同時グラフの場合にまで拡張する。 得られたモデルの安定性を確実に実施する訓練手順を導出する。
  論文  参考訳（メタデータ） (2024-11-06T21:17:14Z)
• Generalization of Graph Neural Networks is Robust to Model Mismatch [84.01980526069075]
  グラフニューラルネットワーク(GNN)は、その一般化能力によってサポートされている様々なタスクにおいて、その効果を実証している。 本稿では,多様体モデルから生成される幾何グラフで動作するGNNについて検討する。 本稿では,そのようなモデルミスマッチの存在下でのGNN一般化の堅牢性を明らかにする。
  論文  参考訳（メタデータ） (2024-08-25T16:00:44Z)
• Equivariant Polynomials for Graph Neural Networks [38.15983687193912]
  グラフネットワーク(GNN)は本質的に表現力に制限がある。 本稿では、GNNがある程度の同変を計算する能力に基づく代替パワー階層を提案する。 これらの強化されたGNNは、複数のグラフ学習ベンチマークの実験において最先端の結果を示す。
  論文  参考訳（メタデータ） (2023-02-22T18:53:38Z)
• EDEN: A Plug-in Equivariant Distance Encoding to Beyond the 1-WL Test [17.027460848621434]
  グラフニューラルネットワーク(MPNN)のためのプラグインEquivariant Distance ENcoding(EDEN)を提案する。 EDENはグラフの距離行列上の一連の解釈可能な変換に由来する。 実世界のデータセットの実験では、EDENと従来のGNNの組み合わせが最近の進歩したGNNを上回っている。
  論文  参考訳（メタデータ） (2022-11-19T16:36:28Z)
• Representation Power of Graph Neural Networks: Improved Expressivity via Algebraic Analysis [124.97061497512804]
  標準グラフニューラルネットワーク (GNN) はWeisfeiler-Lehman (WL) アルゴリズムよりも差別的な表現を生成する。 また、白い入力を持つ単純な畳み込みアーキテクチャは、グラフの閉経路をカウントする同変の特徴を生じさせることを示した。
  論文  参考訳（メタデータ） (2022-05-19T18:40:25Z)
• Orthogonal Graph Neural Networks [53.466187667936026]
  グラフニューラルネットワーク(GNN)は,ノード表現の学習において優れていたため,大きな注目を集めている。 より畳み込み層を積み重ねることで、GNNのパフォーマンスが大幅に低下する。 本稿では,モデルトレーニングの安定化とモデル一般化性能の向上のために,既存のGNNバックボーンを拡張可能なOrtho-GConvを提案する。
  論文  参考訳（メタデータ） (2021-09-23T12:39:01Z)
• The Surprising Power of Graph Neural Networks with Random Node Initialization [54.4101931234922]
  グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。 標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。 本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。 我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
  論文  参考訳（メタデータ） (2020-10-02T19:53:05Z)
• Permutation-equivariant and Proximity-aware Graph Neural Networks with Stochastic Message Passing [88.30867628592112]
  グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。 置換等価性と近接認識性は、GNNにとって非常に望ましい2つの重要な特性である。 既存のGNNは、主にメッセージパッシング機構に基づいており、同時に2つの特性を保存できないことを示す。 ノードの近さを保つため,既存のGNNをノード表現で拡張する。
  論文  参考訳（メタデータ） (2020-09-05T16:46:56Z)
• Expressive Power of Invariant and Equivariant Graph Neural Networks [10.419350129060598]
  Folklore Graph Neural Networks (FGNN) は、与えられたテンソル次数に対してこれまで提案されてきた最も表現力のあるアーキテクチャである。 FGNNはこの問題の解決方法を学ぶことができ、既存のアルゴリズムよりも平均的なパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-06-28T16:35:45Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。