論文の概要: Do We Really Need Complicated Model Architectures For Temporal Networks?
- arxiv url: http://arxiv.org/abs/2302.11636v1
- Date: Wed, 22 Feb 2023 20:24:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-24 16:57:11.364055
- Title: Do We Really Need Complicated Model Architectures For Temporal Networks?
- Title(参考訳): 時間ネットワークのための複雑なモデルアーキテクチャは本当に必要か?
- Authors: Weilin Cong, Si Zhang, Jian Kang, Baichuan Yuan, Hao Wu, Xin Zhou,
Hanghang Tong, Mehrdad Mahdavi
- Abstract要約: RNN(Recurrent Neural Network)とSAM(Self-attention Mechanism)は、時間的グラフ学習のための時空間情報を抽出するデファクト手法である。
本稿では,3つのコンポーネントからなる概念的かつ技術的にシンプルなアーキテクチャであるGraphMixerを提案する。(1)多層パーセプトロン(MLP)のみをベースとして情報を要約するリンクエンコーダ,(2)隣接平均プールのみに基づいてノード情報を要約するノードエンコーダ,(3)エンコーダの出力に基づいてリンク予測を行うリンク分類器である。
- 参考スコア(独自算出の注目度): 44.59553216484213
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recurrent neural network (RNN) and self-attention mechanism (SAM) are the de
facto methods to extract spatial-temporal information for temporal graph
learning. Interestingly, we found that although both RNN and SAM could lead to
a good performance, in practice neither of them is always necessary. In this
paper, we propose GraphMixer, a conceptually and technically simple
architecture that consists of three components: (1) a link-encoder that is only
based on multi-layer perceptrons (MLP) to summarize the information from
temporal links, (2) a node-encoder that is only based on neighbor mean-pooling
to summarize node information, and (3) an MLP-based link classifier that
performs link prediction based on the outputs of the encoders. Despite its
simplicity, GraphMixer attains an outstanding performance on temporal link
prediction benchmarks with faster convergence and better generalization
performance. These results motivate us to rethink the importance of simpler
model architecture.
- Abstract(参考訳): recurrent neural network (rnn) と self-attention mechanism (sam) は時相グラフ学習のための時空間情報を抽出するデファクト手法である。
興味深いことに、RNNとSAMはどちらも良いパフォーマンスをもたらす可能性があるが、実際にはどちらも常に必要ではない。
本稿では,3つのコンポーネントからなる概念的かつ技術的にシンプルなアーキテクチャであるGraphMixerを提案する。(1)多層パーセプトロン(MLP)のみをベースとして情報を要約するリンクエンコーダ,(2)隣接平均プールのみに基づいてノード情報を要約するノードエンコーダ,(3)エンコーダの出力に基づいてリンク予測を行うMLPベースのリンク分類器である。
そのシンプルさにもかかわらず、graphmixerは時間的リンク予測ベンチマークで優れた性能を達成し、より高速な収束とより良い一般化性能を実現している。
これらの結果は、よりシンプルなモデルアーキテクチャの重要性を再考する動機となります。
関連論文リスト
- Efficient Heterogeneous Graph Learning via Random Projection [65.65132884606072]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳(メタデータ) (2023-10-23T01:25:44Z) - Learning adjacency matrix for dynamic graph neural network [3.8561286070836798]
欠落したリンクを学習するために特別に設計されたエンコーダを導入する。
エンコーダは、Adjacency Matrix (BA) を処理し、接続されていないノード間の接続を予測する。
このマトリックスはその後、複雑なサブテンポラルネットワークをキャプチャするために、Neural Block Adjacency Matrix (STBAM)に供給される。
論文 参考訳(メタデータ) (2023-10-04T06:42:33Z) - Attention-based Spatial-Temporal Graph Convolutional Recurrent Networks
for Traffic Forecasting [12.568905377581647]
交通予測は交通科学と人工知能における最も基本的な問題の一つである。
既存の手法では、長期的相関と短期的相関を同時にモデル化することはできない。
本稿では,GCRN(Graph Convolutional Recurrent Module)とグローバルアテンションモジュールからなる新しい時空間ニューラルネットワークフレームワークを提案する。
論文 参考訳(メタデータ) (2023-02-25T03:37:00Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳(メタデータ) (2022-09-20T14:41:37Z) - Simpler is better: Multilevel Abstraction with Graph Convolutional
Recurrent Neural Network Cells for Traffic Prediction [6.968068088508505]
グラフニューラルネットワーク(GNN)のための新しいシーケンス・ツー・シーケンスアーキテクチャを提案する。
また、カナダのモントリオールで、ストリートレベルのセグメントデータのベンチマークデータセットを新たに発表した。
本モデルでは,ベースライン法と比較して1時間予測で7%以上性能が向上する。
論文 参考訳(メタデータ) (2022-09-08T14:56:29Z) - Model-Architecture Co-Design for High Performance Temporal GNN Inference
on FPGA [5.575293536755127]
実世界のアプリケーションは、リアルタイムストリーミング動的グラフに対して高いパフォーマンスの推論を必要とする。
本稿では,FPGA上でのメモリベースTGNNの推論のための新しいモデルアーキテクチャ共設計を提案する。
我々は、知識蒸留を用いて単純化されたモデルを訓練し、元のモデルと同じような精度でビザビザビザビザを保証します。
論文 参考訳(メタデータ) (2022-03-10T00:24:47Z) - MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs [55.66953093401889]
Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。
自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
論文 参考訳(メタデータ) (2022-01-07T16:48:07Z) - Logsig-RNN: a novel network for robust and efficient skeleton-based
action recognition [3.775860173040509]
我々は、ログネイティブ層とリカレント型ニューラルネットワーク(RNN)を組み合わせた新しいモジュール、Logsig-RNNを提案する。
特に,簡単な経路変換層とLogsig-RNNを組み合わせることで,Chalearn2013ジェスチャデータの最先端精度を実現する。
論文 参考訳(メタデータ) (2021-10-25T14:47:15Z) - Spatio-Temporal Inception Graph Convolutional Networks for
Skeleton-Based Action Recognition [126.51241919472356]
我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。
ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
論文 参考訳(メタデータ) (2020-11-26T14:43:04Z) - Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。
ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。
連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-04T06:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。