論文の概要: Recurrent Distance Filtering for Graph Representation Learning
- arxiv url: http://arxiv.org/abs/2312.01538v2
- Date: Wed, 7 Feb 2024 13:29:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 19:36:13.016559
- Title: Recurrent Distance Filtering for Graph Representation Learning
- Title(参考訳): グラフ表現学習のためのリカレント距離フィルタリング
- Authors: Yuhui Ding, Antonio Orvieto, Bobby He, Thomas Hofmann
- Abstract要約: 反復的なワンホップメッセージパッシングに基づくグラフニューラルネットワークは、遠方のノードからの情報を効果的に活用するのに苦労していることが示されている。
これらの課題を解決するための新しいアーキテクチャを提案する。
我々のモデルは、ターゲットへの最短距離で他のノードを集約し、線形RNNを用いてホップ表現のシーケンスを符号化する。
- 参考スコア(独自算出の注目度): 37.974907955048984
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks based on iterative one-hop message passing have been
shown to struggle in harnessing the information from distant nodes effectively.
Conversely, graph transformers allow each node to attend to all other nodes
directly, but lack graph inductive bias and have to rely on ad-hoc positional
encoding. In this paper, we propose a new architecture to reconcile these
challenges. Our approach stems from the recent breakthroughs in long-range
modeling provided by deep state-space models on sequential data: for a given
target node, our model aggregates other nodes by their shortest distances to
the target and uses a linear RNN to encode the sequence of hop representations.
The linear RNN is parameterized in a particular diagonal form for stable
long-range signal propagation and is theoretically expressive enough to encode
the neighborhood hierarchy. With no need for positional encoding, we
empirically show that the performance of our model is highly competitive
compared with that of state-of-the-art graph transformers on various
benchmarks, with a significantly reduced computational cost.
- Abstract(参考訳): 反復的な1ホップメッセージパッシングに基づくグラフニューラルネットワークは、遠隔ノードからの情報を効果的に活用するのに苦労していることが示されている。
逆にグラフ変換器は、各ノードが他のすべてのノードに直接参加できるようにするが、グラフ誘導バイアスがなく、アドホックな位置符号化に頼る必要がある。
本稿では,これらの課題を解決するための新しいアーキテクチャを提案する。
私たちのアプローチは、シーケンシャルデータ上の深い状態空間モデルによって提供される長距離モデリングの最近のブレークスルーに起因しています。 与えられた対象ノードに対して、モデルはターゲットと最短距離で他のノードを集約し、リニアなrnnを使用してホップ表現のシーケンスをエンコードします。
線形RNNは、安定な長距離信号伝搬のために特定の対角形でパラメータ化され、理論的には近傍階層を符号化するのに十分な表現性を持つ。
位置符号化を必要とせず,様々なベンチマークにおける最先端グラフトランスフォーマと比較して,計算コストを大幅に削減したモデルの性能が極めて高いことを実証的に示す。
関連論文リスト
- Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding [51.75091298017941]
本稿では,属性付きグラフデータに対する新しいDeep Manifold (Variational) Graph Auto-Encoder (DMVGAE/DMGAE)を提案する。
提案手法は,最先端のベースラインアルゴリズムを,一般的なデータセット間でのダウンストリームタスクの差を大きく越える。
論文 参考訳(メタデータ) (2024-01-12T17:57:07Z) - Seq-HGNN: Learning Sequential Node Representation on Heterogeneous Graph [57.2953563124339]
本稿では,シーケンシャルノード表現,すなわちSeq-HGNNを用いた新しい異種グラフニューラルネットワークを提案する。
Heterogeneous Graph Benchmark (HGB) と Open Graph Benchmark (OGB) の4つの広く使われているデータセットについて広範な実験を行った。
論文 参考訳(メタデータ) (2023-05-18T07:27:18Z) - Addressing Heterophily in Node Classification with Graph Echo State
Networks [11.52174067809364]
ノード分類のためのグラフエコー状態ネットワーク(GESN)を用いた異種グラフの課題に対処する。
GESNはグラフのための貯水池計算モデルであり、ノードの埋め込みは訓練されていないメッセージパッシング関数によって計算される。
実験の結果, 貯水池モデルでは, ほぼ完全に訓練された深層モデルに対して, より優れた精度あるいは同等の精度が得られることがわかった。
論文 参考訳(メタデータ) (2023-05-14T19:42:31Z) - NVDiff: Graph Generation through the Diffusion of Node Vectors [20.424372965054832]
我々は,VGAE構造を取り入れたNVDiffを提案し,サンプルノードベクトルに先立ってフレキシブルなスコアベース生成モデル(SGM)を用いる。
NVDiffフレームワーク上に構築され,グラフの局所的コンテキストとグローバル的コンテキストの両方をキャプチャ可能なアテンションベースのスコアネットワークを導入する。
論文 参考訳(メタデータ) (2022-11-19T20:43:39Z) - Relation Embedding based Graph Neural Networks for Handling
Heterogeneous Graph [58.99478502486377]
我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。
具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
論文 参考訳(メタデータ) (2022-09-23T05:24:18Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳(メタデータ) (2022-09-20T14:41:37Z) - Rewiring with Positional Encodings for Graph Neural Networks [37.394229290996364]
いくつかの最近の研究は、注意機構を備えたグラフニューラルネットワーク層の受容場を拡張するために位置符号化を使用している。
位置エンコーディングを用いて、受容場を$r$ホップ地区に拡張する。
各種モデルやデータセットの改良や,従来のGNNやグラフトランスフォーマーによる競争性能の向上を実現しています。
論文 参考訳(メタデータ) (2022-01-29T22:26:02Z) - Graph Neural Networks with Feature and Structure Aware Random Walk [5.431036185361236]
典型的な好適なグラフでは、エッジを指向する可能性があり、エッジをそのまま扱うか、あるいは単純に非指向にするかは、GNNモデルの性能に大きな影響を与える。
そこで我々は,グラフの方向性を適応的に学習するモデルを開発し,ノード間の長距離相関を生かした。
論文 参考訳(メタデータ) (2021-11-19T08:54:21Z) - Hyperbolic Variational Graph Neural Network for Modeling Dynamic Graphs [77.33781731432163]
我々は,ノード表現の推論を目的とした双曲空間における動的グラフ表現を初めて学習する。
本稿では,HVGNNと呼ばれる新しいハイパーボリック変動グラフネットワークを提案する。
特に,動力学をモデル化するために,理論的に接地した時間符号化手法に基づく時間gnn(tgnn)を導入する。
論文 参考訳(メタデータ) (2021-04-06T01:44:15Z) - Isometric Graph Neural Networks [5.306334746787569]
我々はIsometric Graph Neural Networks (IGNN) の学習手法を提案する。
IGNNは、任意のGNNアルゴリズムがノード間の距離を反映した表現を生成するために、入力表現空間と損失関数を変更する必要がある。
我々はケンドールのタウ(KT)の400%まで、一貫した実質的な改善を観察する。
論文 参考訳(メタデータ) (2020-06-16T22:51:13Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳(メタデータ) (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。