論文の概要: Memory-based Message Passing: Decoupling the Message for Propogation
from Discrimination
- arxiv url: http://arxiv.org/abs/2202.00423v1
- Date: Tue, 1 Feb 2022 14:15:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-02 17:19:15.279053
- Title: Memory-based Message Passing: Decoupling the Message for Propogation
from Discrimination
- Title(参考訳): メモリベースのメッセージパッシング: 差別禁止のためのメッセージの分離
- Authors: Jie Chen, Weiqi Liu, Jian Pu
- Abstract要約: メッセージパッシングはグラフニューラルネットワーク(GNN)の基本手順である
本稿では、各ノードのメッセージを識別のための自己埋め込み部と伝搬のためのメモリ部に分離するメモリベースのメッセージパッシング(MMP)手法を提案する。
私たちのMMPは、従来のGNNのパフォーマンス向上に役立つ追加レイヤとして機能する一般的なスキルです。
- 参考スコア(独自算出の注目度): 6.7605701314795095
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Message passing is a fundamental procedure for graph neural networks in the
field of graph representation learning. Based on the homophily assumption, the
current message passing always aggregates features of connected nodes, such as
the graph Laplacian smoothing process. However, real-world graphs tend to be
noisy and/or non-smooth. The homophily assumption does not always hold, leading
to sub-optimal results. A revised message passing method needs to maintain each
node's discriminative ability when aggregating the message from neighbors. To
this end, we propose a Memory-based Message Passing (MMP) method to decouple
the message of each node into a self-embedding part for discrimination and a
memory part for propagation. Furthermore, we develop a control mechanism and a
decoupling regularization to control the ratio of absorbing and excluding the
message in the memory for each node. More importantly, our MMP is a general
skill that can work as an additional layer to help improve traditional GNNs
performance. Extensive experiments on various datasets with different homophily
ratios demonstrate the effectiveness and robustness of the proposed method.
- Abstract(参考訳): メッセージパッシングは、グラフ表現学習の分野におけるグラフニューラルネットワークの基本的な手順である。
ホモフィリー仮定に基づいて、現在のメッセージパッシングは、グラフラプラシアン平滑化プロセスのような連結ノードの特徴を常に集約する。
しかし、実世界のグラフはノイズが多く、非滑らかである傾向がある。
ホモフィリー仮定は必ずしも成り立たないので、準最適結果をもたらす。
修正されたメッセージパッシングメソッドは、隣接ノードからメッセージを集約する場合、各ノードの識別能力を維持する必要がある。
この目的のために、各ノードのメッセージを識別のための自己埋め込み部と伝搬のためのメモリ部に分離するメモリベースのメッセージパッシング(MMP)手法を提案する。
さらに、各ノードに対するメモリ内のメッセージを吸収・排除する比率を制御するための制御機構と分離正規化を開発する。
さらに重要なのは、私たちのMMPは、従来のGNNのパフォーマンス向上に役立つ追加レイヤとして機能する一般的なスキルです。
相同比の異なる様々なデータセットに関する広範囲な実験により,提案手法の有効性とロバスト性が示された。
関連論文リスト
- GGNNs : Generalizing GNNs using Residual Connections and Weighted
Message Passing [0.0]
GNNはグラフ内の関係やパターンを捕捉し、効果的な学習と予測タスクを可能にする。
GNNの一般化力は、層間のメッセージパッシング機構に起因すると一般的に信じられている。
提案手法は,各ノードにアキュミュレートする前にメッセージを重み付けし,Residual接続を追加することによって,メッセージパッシング機構をさらに改良する。
論文 参考訳(メタデータ) (2023-11-26T22:22:38Z) - Half-Hop: A graph upsampling approach for slowing down message passing [31.26080679115766]
メッセージパッシングニューラルネットワークにおける学習を改善するためのフレームワークを提案する。
我々のアプローチは基本的に、各エッジに"スローノード"を追加することで、元のグラフのエッジをサンプリングする。
提案手法は入力グラフのみを修正し,既存のモデルでプラグイン・アンド・プレイしやすくする。
論文 参考訳(メタデータ) (2023-08-17T22:24:15Z) - NodeFormer: A Scalable Graph Structure Learning Transformer for Node
Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。
効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。
グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文 参考訳(メタデータ) (2023-06-14T09:21:15Z) - Seq-HGNN: Learning Sequential Node Representation on Heterogeneous Graph [57.2953563124339]
本稿では,シーケンシャルノード表現,すなわちSeq-HGNNを用いた新しい異種グラフニューラルネットワークを提案する。
Heterogeneous Graph Benchmark (HGB) と Open Graph Benchmark (OGB) の4つの広く使われているデータセットについて広範な実験を行った。
論文 参考訳(メタデータ) (2023-05-18T07:27:18Z) - Framelet Message Passing [2.479720095773358]
フレームレットメッセージパッシング(Framelet Message Passing)と呼ばれる,マルチスケールのフレームレット変換に基づく新しいメッセージパッシングを提案する。
ノードメッセージ更新時に複数のホップから隣ノードのフレームレット表現を統合する。
また,ニューラルODEソルバを用いた連続メッセージパッシングを提案する。
論文 参考訳(メタデータ) (2023-02-28T17:56:19Z) - Ordered GNN: Ordering Message Passing to Deal with Heterophily and
Over-smoothing [24.86998128873837]
本稿では,特定のホップ内でのメッセージパッシングを目標としたニューロンブロックを用いて,ノード表現に渡すメッセージの順序付けを提案する。
広範囲なデータセットを用いた実験結果から,同種および異種両方の条件下で,我々のモデルが同時に最先端を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-02-03T03:38:50Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳(メタデータ) (2022-09-20T14:41:37Z) - Rethinking Space-Time Networks with Improved Memory Coverage for
Efficient Video Object Segmentation [68.45737688496654]
各オブジェクトのマスク特徴を再エンコードすることなく,フレーム間の直接対応性を確立する。
対応によって、現在のクエリフレーム内の全てのノードは、過去の特徴を連想的に集約することによって推測される。
すべてのメモリノードにコントリビュートする機会があることを検証し、そのような多彩な投票がメモリ効率と推論精度の両方に有益であることを示した。
論文 参考訳(メタデータ) (2021-06-09T16:50:57Z) - Higher-Order Attribute-Enhancing Heterogeneous Graph Neural Networks [67.25782890241496]
異種ネットワーク表現学習のための高次属性強化グラフニューラルネットワーク(HAEGNN)を提案する。
HAEGNNは、リッチで異質なセマンティクスのためのメタパスとメタグラフを同時に組み込む。
ノード分類、ノードクラスタリング、可視化における最先端の手法よりも優れたパフォーマンスを示す。
論文 参考訳(メタデータ) (2021-04-16T04:56:38Z) - Uniting Heterogeneity, Inductiveness, and Efficiency for Graph
Representation Learning [68.97378785686723]
グラフニューラルネットワーク(GNN)は,グラフ上のノード表現学習の性能を大幅に向上させた。
GNNの過半数クラスは均質グラフのためにのみ設計されており、より有益な異種グラフに劣る適応性をもたらす。
本稿では,低次ノードと高次ノードの両方のエッジに付随するヘテロジニアスなノード特徴をパッケージ化する,新しい帰納的メタパスフリーメッセージパッシング方式を提案する。
論文 参考訳(メタデータ) (2021-04-04T23:31:39Z) - PushNet: Efficient and Adaptive Neural Message Passing [1.9121961872220468]
メッセージパッシングニューラルネットワークは、最近、グラフ上での表現学習に対する最先端のアプローチへと進化した。
既存のメソッドは、複数のラウンドですべてのエッジに沿って同期メッセージパッシングを実行する。
我々は、収束するまで最も関連性の高いエッジに沿ってのみ情報をプッシュする、新しい非同期メッセージパッシングアプローチについて検討する。
論文 参考訳(メタデータ) (2020-03-04T18:15:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。