論文の概要: Weisfeiler Leman for Euclidean Equivariant Machine Learning

• arxiv url: http://arxiv.org/abs/2402.02484v1
• Date: Sun, 4 Feb 2024 13:25:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 19:26:13.465184
• Title: Weisfeiler Leman for Euclidean Equivariant Machine Learning
• Title（参考訳）: ユークリッド同変機械学習のためのWeisfeiler Leman
• Authors: Snir Hordan, Tal Amir, Nadav Dym
• Abstract要約: WeLNetは、位置-速度対を処理し、置換や剛体運動と完全に同値な関数を計算できる。 WeLNetは、実際に実装されている環境で、確実に完全であることを示す。
• 参考スコア（独自算出の注目度）: 3.396731589928944
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The $k$-Weifeiler-Leman ($k$-WL) graph isomorphism test hierarchy is a common method for assessing the expressive power of graph neural networks (GNNs). Recently, the $2$-WL test was proven to be complete on weighted graphs which encode $3\mathrm{D}$ point cloud data. Consequently, GNNs whose expressive power is equivalent to the $2$-WL test are provably universal on point clouds. Yet, this result is limited to invariant continuous functions on point clouds. In this paper we extend this result in three ways: Firstly, we show that $2$-WL tests can be extended to point clouds which include both positions and velocity, a scenario often encountered in applications. Secondly, we show that PPGN (Maron et al., 2019) can simulate $2$-WL uniformly on all point clouds with low complexity. Finally, we show that a simple modification of this PPGN architecture can be used to obtain a universal equivariant architecture that can approximate all continuous equivariant functions uniformly. Building on our results, we develop our WeLNet architecture, which can process position-velocity pairs, compute functions fully equivariant to permutations and rigid motions, and is provably complete and universal. Remarkably, WeLNet is provably complete precisely in the setting in which it is implemented in practice. Our theoretical results are complemented by experiments showing WeLNet sets new state-of-the-art results on the N-Body dynamics task and the GEOM-QM9 molecular conformation generation task.
• Abstract（参考訳）: k$-Weifeiler-Leman(k$-WL)グラフ同型テスト階層は、グラフニューラルネットワーク(GNN)の表現力を評価する一般的な方法である。 最近、この2$-WLテストは、3$\mathrm{D}$ポイントクラウドデータをエンコードした重み付きグラフで完結することが証明された。 したがって、表現力が 2$-WL テストと等価な GNN は、ポイントクラウド上で証明可能な普遍的である。 しかし、この結果は点雲上の不変連続関数に限定される。 第一に、アプリケーションでしばしば発生するシナリオである位置と速度の両方を含む点クラウドまで、2ドルWLのテストを拡張できることを示します。 第2に, PPGN (Maron et al., 2019) は, 複雑さの低い全点クラウド上で, 均一に 2$-WL をシミュレートできることを示した。 最後に、この PPGN アーキテクチャの簡単な修正により、すべての連続同変関数を均一に近似できる普遍同変アーキテクチャが得られることを示す。 この結果をもとにwelnetアーキテクチャを開発し、位置速度対を処理し、置換や剛体運動に完全同値な関数を計算し、完全かつ普遍的であることを保証する。 注目すべきは、WeLNetが実際に実装されている環境で、確実に完成していることだ。 WeLNetはN-Body動的タスクとGEOM-QM9分子コンホメーション生成タスクに新しい最先端の結果をセットする。

関連論文リスト

• Extending the Design Space of Graph Neural Networks by Rethinking Folklore Weisfeiler-Lehman [66.23316415757456]
  近年、グラフニューラルネットワーク(GNN)の最も人気のあるフレームワークとして、メッセージパッシングニューラルネットワーク(MPNN)が登場している。 しかし、その表現力は1次元のWeisfeiler-Lehman (1-WL) テストによって制限される。 我々は、任意の同変集合をすべてのノードの代わりに隣人と考える拡張、$(k,t)$-FWLを提案する。 N$2-GNN は ZINC-Subset (0.059) で記録破りの結果を達成し、以前の SOTA の成績を 10.6% 上回った。
  論文  参考訳（メタデータ） (2023-06-05T21:35:32Z)
• From Relational Pooling to Subgraph GNNs: A Universal Framework for More Expressive Graph Neural Networks [8.121462458089141]
  メッセージパッシングニューラルネットワークの表現力を向上させるために、ノードにラベルを割り当てる方法を示す。 実験により,本手法は普遍的に互換性があり,任意のベースGNNモデルの表現性を向上させることができることを示した。 私たちの$k,l$-GNNは、多くの合成および実世界のデータセットで優れたパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2023-05-08T18:00:50Z)
• Three iterations of $(d-1)$-WL test distinguish non isometric clouds of $d$-dimensional points [58.9648095506484]
  Wesfeiler--Lehman テストが完全距離グラフで表されるユークリッド点の雲に対して完備であるときの研究を行う。 我々の主な結果は、$(d-1)$-dimensional WL テストが$d$-dimensional Euclidean 空間の点雲に対して完備であり、任意の$dge 2$ に対して完備であり、テストサフィスを3回だけ繰り返すことである。
  論文  参考訳（メタデータ） (2023-03-22T18:23:24Z)
• A Complete Expressiveness Hierarchy for Subgraph GNNs via Subgraph Weisfeiler-Lehman Tests [30.558563815430418]
  GNN(Subgraph Neural Network)は、表現型グラフニューラルネットワーク(GNN)を開発するための重要な方向として登場した。 本稿では,WIP(Subgraph Weisfeiler-Lehman Tests)のレンズを用いた一般ノードベースサブグラフGNNの系統的研究を行う。 ノードベースの部分グラフ GNN が 6 つのSWL 等価クラスのうちの 1 つに該当することを証明し、その中で $mathsfSSWL$ が最大表現力を達成する。
  論文  参考訳（メタデータ） (2023-02-14T14:42:54Z)
• Complete Neural Networks for Complete Euclidean Graphs [4.416503115535553]
  点雲の集中型グラム行列に3WLグラフ同型テストを適用することにより、点雲を完全に決定できることを示す。 次に、中程度の大きさのユークリッドグラフニューラルネットワークによって、我々の完全なユークリッドテストがどのようにシミュレートされるかを示し、その分離能力を高度に対称な点雲上で実証する。
  論文  参考訳（メタデータ） (2023-01-31T18:07:26Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)
• Equivariant Subgraph Aggregation Networks [23.26140936226352]
  本稿では,この問題に対処するためのEquivariant Subgraph Aggregation Networks (ESAN) という新しいフレームワークを提案する。 2つのグラフはMPNNでは区別できないかもしれないが、しばしば区別可能な部分グラフを含む。 グラフ同型に対する1次元Weisfeiler-Leman(1-WL)テストの新しい変種を開発し、ESANの表現性に対する下界を証明した。 サブグラフ選択ポリシーや同変ニューラルアーキテクチャといった設計選択がアーキテクチャの表現力にどのように影響するかを記述する理論的結果を提供する。
  論文  参考訳（メタデータ） (2021-10-06T16:45:07Z)
• Improving Robustness and Generality of NLP Models Using Disentangled Representations [62.08794500431367]
  スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。 本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。 提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
  論文  参考訳（メタデータ） (2020-09-21T02:48:46Z)
• Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning [63.97983530843762]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。 より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。 本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
  論文  参考訳（メタデータ） (2020-08-31T23:15:40Z)
• Improving Graph Neural Network Expressivity via Subgraph Isomorphism Counting [63.04999833264299]
  グラフサブストラクチャネットワーク(GSN)は,サブストラクチャエンコーディングに基づくトポロジ的に認識可能なメッセージパッシング方式である。 Wesfeiler-Leman (WL) グラフ同型テストよりも厳密に表現可能であることを示す。 グラフ分類と回帰タスクについて広範囲に評価を行い、様々な実世界の環境において最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-06-16T15:30:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。