論文の概要: Can strong structural encoding reduce the importance of Message Passing?
- arxiv url: http://arxiv.org/abs/2310.15197v1
- Date: Sun, 22 Oct 2023 16:29:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 22:45:47.437272
- Title: Can strong structural encoding reduce the importance of Message Passing?
- Title（参考訳）: 強い構造的エンコーディングはメッセージパッシングの重要性を減らせるか?
- Authors: Floor Eijkelboom (1), Erik Bekkers (1), Michael Bronstein (2),
Francesco Di Giovanni (3) ((1) University of Amsterdam, (2) University of
Oxford, (3) University of Cambridge)
- Abstract要約: 本研究では,強い構造符号化を行う場合のメッセージパッシングの寄与について検討する。
テンソル積に基づく特徴情報と構造情報の相互作用をモデル化する新しい手法を提案する。
以上の結果から,テンソルベースエンコーディングは少なくとも連結ベースエンコーディングと同等であることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The most prevalent class of neural networks operating on graphs are message
passing neural networks (MPNNs), in which the representation of a node is
updated iteratively by aggregating information in the 1-hop neighborhood. Since
this paradigm for computing node embeddings may prevent the model from learning
coarse topological structures, the initial features are often augmented with
structural information of the graph, typically in the form of Laplacian
eigenvectors or Random Walk transition probabilities. In this work, we explore
the contribution of message passing when strong structural encodings are
provided. We introduce a novel way of modeling the interaction between feature
and structural information based on their tensor product rather than the
standard concatenation. The choice of interaction is compared in common
scenarios and in settings where the capacity of the message-passing layer is
severely reduced and ultimately the message-passing phase is removed
altogether. Our results indicate that using tensor-based encodings is always at
least on par with the concatenation-based encoding and that it makes the model
much more robust when the message passing layers are removed, on some tasks
incurring almost no drop in performance. This suggests that the importance of
message passing is limited when the model can construct strong structural
encodings.
- Abstract（参考訳）: グラフ上で動作している最も一般的なニューラルネットワークのクラスは、メッセージパッシングニューラルネットワーク(mpnn)である。
ノード埋め込みのこのパラダイムは、モデルが粗い位相構造を学習することを妨げる可能性があるため、初期特徴はしばしばグラフの構造情報(典型的にはラプラシア固有ベクトルまたはランダムウォーク遷移確率の形で拡張される。
本稿では,強い構造的エンコーディングが提供された場合のメッセージパッシングの寄与について検討する。
本稿では,標準結合ではなく,テンソル積に基づく特徴情報と構造情報の相互作用をモデル化する新しい手法を提案する。
インタラクションの選択は、一般的なシナリオや、メッセージパッシング層の容量が大幅に削減され、最終的にメッセージパッシングフェーズが完全に削除される設定で比較されます。
我々の結果は、テンソルベースのエンコーディングは、少なくとも結合ベースのエンコーディングと同等であり、メッセージパッシング層が削除されたとき、パフォーマンスがほとんど低下しないタスクにおいて、モデルをより堅牢にすることを示している。
これは、モデルが強い構造的エンコーディングを構築できる場合、メッセージパッシングの重要性が制限されていることを示唆している。
関連論文リスト
- Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。
提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。
これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
論文 参考訳（メタデータ） (2024-09-09T12:56:02Z) - Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。
記号の配置に非依存であり、それによって表現される意味論にのみ依存する。
識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
論文 参考訳（メタデータ） (2024-05-12T22:18:25Z) - Topo-MLP : A Simplicial Network Without Message Passing [10.510920427421413]
そこで本研究では, 単純ニューラルネットワークアルゴリズムであるTopo-MLPを提案し, 単純コンプレックス内の要素の表現を学習する。
本フレームワークは, 単純な構造を暗黙的に表現学習に取り入れた, より高次隣り合うコントラスト(HONC)損失を利用する。
論文 参考訳（メタデータ） (2023-12-19T05:14:31Z) - Framelet Message Passing [2.479720095773358]
フレームレットメッセージパッシング(Framelet Message Passing)と呼ばれる,マルチスケールのフレームレット変換に基づく新しいメッセージパッシングを提案する。
ノードメッセージ更新時に複数のホップから隣ノードのフレームレット表現を統合する。
また,ニューラルODEソルバを用いた連続メッセージパッシングを提案する。
論文 参考訳（メタデータ） (2023-02-28T17:56:19Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳（メタデータ） (2022-09-20T14:41:37Z) - Incorporating Constituent Syntax for Coreference Resolution [50.71868417008133]
本稿では,構成構文構造をグラフベースで組み込む手法を提案する。
また、高次近傍情報を利用して構成木に富んだ構造をエンコードすることも検討する。
on the English and Chinese parts of OntoNotes 5.0 benchmark shows that our proposed model beats a strong baseline or a new-of-the-art performance。
論文 参考訳（メタデータ） (2022-02-22T07:40:42Z) - Towards Efficient Scene Understanding via Squeeze Reasoning [71.1139549949694]
我々はSqueeze Reasoningと呼ばれる新しいフレームワークを提案する。
空間地図上の情報を伝播するのではなく、まず入力特徴をチャネルワイドなグローバルベクトルに絞ることを学ぶ。
提案手法はエンドツーエンドのトレーニングブロックとしてモジュール化可能であり,既存のネットワークに簡単に接続可能であることを示す。
論文 参考訳（メタデータ） (2020-11-06T12:17:01Z) - Building powerful and equivariant graph neural networks with structural
message-passing [74.93169425144755]
本稿では,2つのアイデアに基づいた,強力かつ同変なメッセージパッシングフレームワークを提案する。
まず、各ノードの周囲の局所的コンテキスト行列を学習するために、特徴に加えてノードの1ホット符号化を伝搬する。
次に,メッセージのパラメトリゼーション手法を提案する。
論文 参考訳（メタデータ） (2020-06-26T17:15:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。