論文の概要: Can strong structural encoding reduce the importance of Message Passing?
- arxiv url: http://arxiv.org/abs/2310.15197v1
- Date: Sun, 22 Oct 2023 16:29:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 22:45:47.437272
- Title: Can strong structural encoding reduce the importance of Message Passing?
- Title(参考訳): 強い構造的エンコーディングはメッセージパッシングの重要性を減らせるか?
- Authors: Floor Eijkelboom (1), Erik Bekkers (1), Michael Bronstein (2),
Francesco Di Giovanni (3) ((1) University of Amsterdam, (2) University of
Oxford, (3) University of Cambridge)
- Abstract要約: 本研究では,強い構造符号化を行う場合のメッセージパッシングの寄与について検討する。
テンソル積に基づく特徴情報と構造情報の相互作用をモデル化する新しい手法を提案する。
以上の結果から,テンソルベースエンコーディングは少なくとも連結ベースエンコーディングと同等であることがわかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The most prevalent class of neural networks operating on graphs are message
passing neural networks (MPNNs), in which the representation of a node is
updated iteratively by aggregating information in the 1-hop neighborhood. Since
this paradigm for computing node embeddings may prevent the model from learning
coarse topological structures, the initial features are often augmented with
structural information of the graph, typically in the form of Laplacian
eigenvectors or Random Walk transition probabilities. In this work, we explore
the contribution of message passing when strong structural encodings are
provided. We introduce a novel way of modeling the interaction between feature
and structural information based on their tensor product rather than the
standard concatenation. The choice of interaction is compared in common
scenarios and in settings where the capacity of the message-passing layer is
severely reduced and ultimately the message-passing phase is removed
altogether. Our results indicate that using tensor-based encodings is always at
least on par with the concatenation-based encoding and that it makes the model
much more robust when the message passing layers are removed, on some tasks
incurring almost no drop in performance. This suggests that the importance of
message passing is limited when the model can construct strong structural
encodings.
- Abstract(参考訳): グラフ上で動作している最も一般的なニューラルネットワークのクラスは、メッセージパッシングニューラルネットワーク(mpnn)である。
ノード埋め込みのこのパラダイムは、モデルが粗い位相構造を学習することを妨げる可能性があるため、初期特徴はしばしばグラフの構造情報(典型的にはラプラシア固有ベクトルまたはランダムウォーク遷移確率の形で拡張される。
本稿では,強い構造的エンコーディングが提供された場合のメッセージパッシングの寄与について検討する。
本稿では,標準結合ではなく,テンソル積に基づく特徴情報と構造情報の相互作用をモデル化する新しい手法を提案する。
インタラクションの選択は、一般的なシナリオや、メッセージパッシング層の容量が大幅に削減され、最終的にメッセージパッシングフェーズが完全に削除される設定で比較されます。
我々の結果は、テンソルベースのエンコーディングは、少なくとも結合ベースのエンコーディングと同等であり、メッセージパッシング層が削除されたとき、パフォーマンスがほとんど低下しないタスクにおいて、モデルをより堅牢にすることを示している。
これは、モデルが強い構造的エンコーディングを構築できる場合、メッセージパッシングの重要性が制限されていることを示唆している。
関連論文リスト
- Topo-MLP : A Simplicial Network Without Message Passing [10.510920427421413]
そこで本研究では, 単純ニューラルネットワークアルゴリズムであるTopo-MLPを提案し, 単純コンプレックス内の要素の表現を学習する。
本フレームワークは, 単純な構造を暗黙的に表現学習に取り入れた, より高次隣り合うコントラスト(HONC)損失を利用する。
論文 参考訳(メタデータ) (2023-12-19T05:14:31Z) - Framelet Message Passing [2.479720095773358]
フレームレットメッセージパッシング(Framelet Message Passing)と呼ばれる,マルチスケールのフレームレット変換に基づく新しいメッセージパッシングを提案する。
ノードメッセージ更新時に複数のホップから隣ノードのフレームレット表現を統合する。
また,ニューラルODEソルバを用いた連続メッセージパッシングを提案する。
論文 参考訳(メタデータ) (2023-02-28T17:56:19Z) - TPGNN: Learning High-order Information in Dynamic Graphs via Temporal
Propagation [7.616789069832552]
本稿では,時間的伝搬に基づくグラフニューラルネットワーク,すなわちTPGNNを提案する。
Propagatorは、$k$-hop内のアンカーノードから一時的な隣人へのメッセージを伝搬し、同時に近隣の状態を更新する。
オーバースムーシングを防ぐため、モデルは$n$-hopの隣人からのメッセージを補完し、アンカーに保存された$n$-hopのメモリベクトルを更新する。
論文 参考訳(メタデータ) (2022-10-03T18:39:07Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳(メタデータ) (2022-09-20T14:41:37Z) - Contextual Attention Network: Transformer Meets U-Net [0.0]
畳み込みニューラルネットワーク(CNN)はデファクトスタンダードとなり、医療画像セグメンテーションにおいて大きな成功を収めた。
しかし、CNNベースのメソッドは、長距離依存関係とグローバルコンテキスト接続を構築するのに失敗する。
最近の論文では、医療画像分割タスクにTransformerの変種を活用している。
論文 参考訳(メタデータ) (2022-03-02T21:10:24Z) - Incorporating Constituent Syntax for Coreference Resolution [50.71868417008133]
本稿では,構成構文構造をグラフベースで組み込む手法を提案する。
また、高次近傍情報を利用して構成木に富んだ構造をエンコードすることも検討する。
on the English and Chinese parts of OntoNotes 5.0 benchmark shows that our proposed model beats a strong baseline or a new-of-the-art performance。
論文 参考訳(メタデータ) (2022-02-22T07:40:42Z) - Spatio-Temporal Inception Graph Convolutional Networks for
Skeleton-Based Action Recognition [126.51241919472356]
我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。
ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
論文 参考訳(メタデータ) (2020-11-26T14:43:04Z) - Towards Efficient Scene Understanding via Squeeze Reasoning [71.1139549949694]
我々はSqueeze Reasoningと呼ばれる新しいフレームワークを提案する。
空間地図上の情報を伝播するのではなく、まず入力特徴をチャネルワイドなグローバルベクトルに絞ることを学ぶ。
提案手法はエンドツーエンドのトレーニングブロックとしてモジュール化可能であり,既存のネットワークに簡単に接続可能であることを示す。
論文 参考訳(メタデータ) (2020-11-06T12:17:01Z) - My Body is a Cage: the Role of Morphology in Graph-Based Incompatible
Control [65.77164390203396]
本稿では,グラフにエンコードされた形態情報により,その性能が向上しないことを示す既存手法に関する一連のアブリケーションを示す。
グラフ構造からGNNが抽出した利益は、メッセージパッシングのために生じる困難によって上回っているという仮説により、Amorpheusも提案する。
論文 参考訳(メタデータ) (2020-10-05T08:37:11Z) - Building powerful and equivariant graph neural networks with structural
message-passing [74.93169425144755]
本稿では,2つのアイデアに基づいた,強力かつ同変なメッセージパッシングフレームワークを提案する。
まず、各ノードの周囲の局所的コンテキスト行列を学習するために、特徴に加えてノードの1ホット符号化を伝搬する。
次に,メッセージのパラメトリゼーション手法を提案する。
論文 参考訳(メタデータ) (2020-06-26T17:15:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。