論文の概要: Efficient and Effective Implicit Dynamic Graph Neural Network
- arxiv url: http://arxiv.org/abs/2406.17894v1
- Date: Tue, 25 Jun 2024 19:07:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-27 15:27:11.647952
- Title: Efficient and Effective Implicit Dynamic Graph Neural Network
- Title（参考訳）: 効率的かつ効果的な動的グラフニューラルネットワーク
- Authors: Yongjian Zhong, Hieu Vu, Tianbao Yang, Bijaya Adhikari,
- Abstract要約: Indicit Dynamic Graph Neural Network (IDGNN) は動的グラフのための新しい暗黙的ニューラルネットワークである。
IDGNNの鍵となる特徴は、それが実証的に良好である、すなわち、固定点表現を持つことが理論的に保証されていることである。
- 参考スコア（独自算出の注目度）: 42.49148111696576
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Implicit graph neural networks have gained popularity in recent years as they capture long-range dependencies while improving predictive performance in static graphs. Despite the tussle between performance degradation due to the oversmoothing of learned embeddings and long-range dependency being more pronounced in dynamic graphs, as features are aggregated both across neighborhood and time, no prior work has proposed an implicit graph neural model in a dynamic setting. In this paper, we present Implicit Dynamic Graph Neural Network (IDGNN) a novel implicit neural network for dynamic graphs which is the first of its kind. A key characteristic of IDGNN is that it demonstrably is well-posed, i.e., it is theoretically guaranteed to have a fixed-point representation. We then demonstrate that the standard iterative algorithm often used to train implicit models is computationally expensive in our dynamic setting as it involves computing gradients, which themselves have to be estimated in an iterative manner. To overcome this, we pose an equivalent bilevel optimization problem and propose an efficient single-loop training algorithm that avoids iterative computation by maintaining moving averages of key components of the gradients. We conduct extensive experiments on real-world datasets on both classification and regression tasks to demonstrate the superiority of our approach over the state-of-the-art baselines. We also demonstrate that our bi-level optimization framework maintains the performance of the expensive iterative algorithm while obtaining up to \textbf{1600x} speed-up.
- Abstract（参考訳）: 暗黙グラフニューラルネットワークは、静的グラフの予測性能を改善しながら、長距離依存を捉えることで近年人気を集めている。
学習した埋め込みの過度な平滑化による性能劣化と、近辺と時間の両方で特徴が集約されるため、長距離依存が動的グラフでより顕著であるにもかかわらず、従来の研究では、動的環境において暗黙的なグラフニューラルモデルが提案されていない。
本稿では,動的グラフのための新しい暗黙的ニューラルネットワークImplicit Dynamic Graph Neural Network (IDGNN)を提案する。
IDGNNの鍵となる特徴は、それが実証的に良好である、すなわち、固定点表現を持つことが理論的に保証されていることである。
次に、暗黙的なモデルを訓練するのによく使われる標準的な反復アルゴリズムは、計算的にコストがかかることを実証する。
これを解決するために, 2レベル最適化に等価な問題を提起し, 勾配の鍵成分の移動平均を一定に保ち, 反復計算を回避し, 効率的な単ループ学習アルゴリズムを提案する。
我々は、分類タスクと回帰タスクの両方に関する実世界のデータセットに関する広範な実験を行い、最先端のベースラインに対するアプローチの優位性を実証した。
また,我々の二段階最適化フレームワークは,高コストな反復アルゴリズムの性能を維持しつつ,最大速度のtextbf{1600x} を得ることを示す。
関連論文リスト
- Faster Inference Time for GNNs using coarsening [1.323700980948722]
粗い手法はグラフを小さくするために使われ、計算が高速化される。
これまでの調査では、推論中にコストに対処できなかった。
本稿では, サブグラフベース手法によるGNNのスケーラビリティ向上のための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-10-19T06:27:24Z) - Gradient Transformation: Towards Efficient and Model-Agnostic Unlearning for Dynamic Graph Neural Networks [66.70786325911124]
グラフアンラーニングは、ユーザのプライバシ保護と、望ましくないデータによるネガティブな影響軽減に不可欠なツールとして登場した。
DGNNの普及に伴い、動的グラフアンラーニングの実装を検討することが不可欠となる。
DGNNアンラーニングを実装するために,効率的,効率的,モデルに依存しない,事後処理手法を提案する。
論文 参考訳（メタデータ） (2024-05-23T10:26:18Z) - Dynamic Spiking Framework for Graph Neural Networks [26.08442716817432]
underlineDynamic underlineSpunderlineiking underlineGraph underlineNeural Networks (method)というフレームワークを提案する。
3つの大規模実世界の動的グラフ実験により, 手法の有効性が検証された。
論文 参考訳（メタデータ） (2023-12-15T12:45:47Z) - Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳（メタデータ） (2023-10-23T01:25:44Z) - Decoupled Graph Neural Networks for Large Dynamic Graphs [14.635923016087503]
大規模動的グラフのための疎結合グラフニューラルネットワークを提案する。
このアルゴリズムは,両種類の動的グラフにおいて,最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-05-14T23:00:10Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳（メタデータ） (2022-09-20T14:41:37Z) - Scaling Up Dynamic Graph Representation Learning via Spiking Neural
Networks [23.01100055999135]
時間グラフの時間的および構造的パターンを効率的に捉えるために,スケーラブルなフレームワークであるSpikeNetを提案する。
RNNの代替として、SNNは明らかにグラフ力学をニューロンのスパイクトレインとしてモデル化している。
SpikeNetは、パラメータや計算オーバーヘッドが大幅に少ない大きな時間グラフに一般化する。
論文 参考訳（メタデータ） (2022-08-15T09:22:15Z) - Instant Graph Neural Networks for Dynamic Graphs [18.916632816065935]
Instant Graph Neural Network (InstantGNN) を提案する。
提案手法は,時間を要する反復計算を回避し,表現の即時更新と即時予測を可能にする。
本モデルでは,既存手法よりも高精度かつ高次精度で最先端の精度を実現する。
論文 参考訳（メタデータ） (2022-06-03T03:27:42Z) - Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。
また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文 参考訳（メタデータ） (2022-05-06T03:37:00Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。