論文の概要: DuSEGO: Dual Second-order Equivariant Graph Ordinary Differential Equation

• arxiv url: http://arxiv.org/abs/2411.10000v1
• Date: Fri, 15 Nov 2024 07:15:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:39:09.005135
• Title: DuSEGO: Dual Second-order Equivariant Graph Ordinary Differential Equation
• Title（参考訳）: DuSEGO: 2次等変グラフ正規微分方程式
• Authors: Yingxu Wang, Nan Yin, Mingyan Xiao, Xinhao Yi, Siwei Liu, Shangsong Liang,
• Abstract要約: 従来のグラフニューラルネットワーク(GNN)による過度にスムースな問題に対する既存の方法 ほとんどのモデルは、実世界がしばしば二階システムで構成されていることを無視して、一階情報で機能する。 textbfDual textbfSecond-order textbfEquivariant textbfGraph textbfOrdinary Differential Equation (method)を提案する。
• 参考スコア（独自算出の注目度）: 15.509719539039912
• License:
• Abstract: Graph Neural Networks (GNNs) with equivariant properties have achieved significant success in modeling complex dynamic systems and molecular properties. However, their expressiveness ability is limited by: (1) Existing methods often overlook the over-smoothing issue caused by traditional GNN models, as well as the gradient explosion or vanishing problems in deep GNNs. (2) Most models operate on first-order information, neglecting that the real world often consists of second-order systems, which further limits the model's representation capabilities. To address these issues, we propose the \textbf{Du}al \textbf{S}econd-order \textbf{E}quivariant \textbf{G}raph \textbf{O}rdinary Differential Equation (\method{}) for equivariant representation. Specifically, \method{} apply the dual second-order equivariant graph ordinary differential equations (Graph ODEs) on graph embeddings and node coordinates, simultaneously. Theoretically, we first prove that \method{} maintains the equivariant property. Furthermore, we provide theoretical insights showing that \method{} effectively alleviates the over-smoothing problem in both feature representation and coordinate update. Additionally, we demonstrate that the proposed \method{} mitigates the exploding and vanishing gradients problem, facilitating the training of deep multi-layer GNNs. Extensive experiments on benchmark datasets validate the superiority of the proposed \method{} compared to baselines.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、複雑な力学系や分子特性のモデリングにおいて大きな成功を収めている。 しかし, 従来のGNNモデルによる過度にスムースな問題や, 深部GNNにおける勾配爆発や消滅問題など, 既存の手法では見過ごされがちである。 2) 殆どのモデルは、実世界はしばしば2階システムで構成されており、モデルの表現能力をさらに制限していることを無視して、一階情報を扱う。 これらの問題に対処するために、同変表現に対する \textbf{Du}al \textbf{S}econd-order \textbf{E}quivariant \textbf{G}raph \textbf{O}rdinary Differential Equation (\method{}) を提案する。 具体的には、二階同変グラフ常微分方程式 (Graph ODEs) をグラフ埋め込みとノード座標に同時に適用する。 理論的には、最初に \method{} が同変性を維持することを証明する。 さらに,<method{} が特徴表現と座標更新の両方において,過度に平滑な問題を効果的に緩和することを示す理論的知見を提供する。 さらに,提案した<method{} は爆発的・消滅的な勾配問題を緩和し,深層GNNの訓練を容易にすることを実証する。 ベンチマークデータセットの大規模な実験は、ベースラインと比較して提案された 'method{} の優位性を検証する。

関連論文リスト

• Convergence Guarantees for the DeepWalk Embedding on Block Models [9.898607871253775]
  ブロックモデル(SBM)から得られたグラフ上でDeepWalkアルゴリズムの使い方を示す。 単純化されているにもかかわらず、SBMは大きなグラフ上のアルゴリズムを解析するための古典的なモデルであることが証明されている。
  論文  参考訳（メタデータ） (2024-10-26T18:35:11Z)
• Graph Generation via Spectral Diffusion [51.60814773299899]
  本稿では,1)グラフラプラシア行列のスペクトル分解と2)拡散過程に基づく新しいグラフ生成モデルGRASPを提案する。 具体的には、固有ベクトルと固有値のサンプリングにデノナイジングモデルを用い、グラフラプラシアン行列と隣接行列を再構成する。 我々の置換不変モデルは各ノードの固有ベクトルに連結することでノードの特徴を扱える。
  論文  参考訳（メタデータ） (2024-02-29T09:26:46Z)
• SEGNO: Generalizing Equivariant Graph Neural Networks with Physical Inductive Biases [66.61789780666727]
  等変性を維持しながら, 2階連続性をGNNに組み込む方法を示す。 また、SEGNOに関する理論的知見も提供し、隣接する状態間の一意の軌跡を学習できることを強調している。 我々のモデルは最先端のベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-08-25T07:15:58Z)
• Implicit Graph Neural Diffusion Networks: Convergence, Generalization, and Over-Smoothing [7.984586585987328]
  Inlicit Graph Neural Networks (GNN)は、グラフ学習問題に対処する上で大きな成功を収めた。 パラメータ化グラフラプラシアン演算子に基づく暗黙グラフ拡散層を設計するための幾何学的枠組みを提案する。 ディリクレエネルギー最小化問題の固定点方程式として, 暗黙のGNN層がどう見えるかを示す。
  論文  参考訳（メタデータ） (2023-08-07T05:22:33Z)
• Discrete Graph Auto-Encoder [52.50288418639075]
  離散グラフオートエンコーダ(DGAE)という新しいフレームワークを導入する。 まず、置換同変オートエンコーダを用いてグラフを離散潜在ノード表現の集合に変換する。 2番目のステップでは、離散潜在表現の集合をソートし、特別に設計された自己回帰モデルを用いてそれらの分布を学習する。
  論文  参考訳（メタデータ） (2023-06-13T12:40:39Z)
• Tensorized Hypergraph Neural Networks [69.65385474777031]
  我々は,新しいアジャケーシテンソルベースのtextbfTensorized textbfHypergraph textbfNeural textbfNetwork (THNN) を提案する。 THNNは高次外装機能パッシングメッセージを通じて、忠実なハイパーグラフモデリングフレームワークである。 3次元視覚オブジェクト分類のための2つの広く使われているハイパーグラフデータセットの実験結果から、モデルの有望な性能を示す。
  論文  参考訳（メタデータ） (2023-06-05T03:26:06Z)
• Equivariant Graph Mechanics Networks with Constraints [83.38709956935095]
  本稿では,グラフ力学ネットワーク(GMN)を提案する。 GMNは、一般化された座標により、構造体の前方運動学情報(位置と速度)を表す。 大規模な実験は、予測精度、制約満足度、データ効率の観点から、最先端のGNNと比較してGMNの利点を支持する。
  論文  参考訳（メタデータ） (2022-03-12T14:22:14Z)
• Deep Graph Matching under Quadratic Constraint [30.72996618021077]
  深部グラフマッチングフレームワークに組み込まれたtextbfquadratic 制約として,ペアワイズグラフ構造を明示的に定式化することを提案する。 二次制約はグラフ間の対構造的な相違を最小限に抑え、抽出したCNN特徴のみを用いて得られるあいまいさを軽減できる。 より正確かつ適切な監視を行うために、クラス不均衡に対する適切に設計された偽マッチング損失が提案され、過度に適合しない偽陰性や偽陽性をよりよく罰できる。
  論文  参考訳（メタデータ） (2021-03-11T12:51:12Z)
• Building powerful and equivariant graph neural networks with structural message-passing [74.93169425144755]
  本稿では,2つのアイデアに基づいた,強力かつ同変なメッセージパッシングフレームワークを提案する。 まず、各ノードの周囲の局所的コンテキスト行列を学習するために、特徴に加えてノードの1ホット符号化を伝搬する。 次に,メッセージのパラメトリゼーション手法を提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:15:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。