論文の概要: Half-Hop: A graph upsampling approach for slowing down message passing

• arxiv url: http://arxiv.org/abs/2308.09198v1
• Date: Thu, 17 Aug 2023 22:24:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 15:14:47.454340
• Title: Half-Hop: A graph upsampling approach for slowing down message passing
• Title（参考訳）: Half-Hop: メッセージパッシングを遅くするグラフアップサンプリングアプローチ
• Authors: Mehdi Azabou, Venkataramana Ganesh, Shantanu Thakoor, Chi-Heng Lin, Lakshmi Sathidevi, Ran Liu, Michal Valko, Petar Veli\v{c}kovi\'c, Eva L. Dyer
• Abstract要約: メッセージパッシングニューラルネットワークにおける学習を改善するためのフレームワークを提案する。 我々のアプローチは基本的に、各エッジに"スローノード"を追加することで、元のグラフのエッジをサンプリングする。 提案手法は入力グラフのみを修正し,既存のモデルでプラグイン・アンド・プレイしやすくする。
• 参考スコア（独自算出の注目度）: 31.26080679115766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Message passing neural networks have shown a lot of success on graph-structured data. However, there are many instances where message passing can lead to over-smoothing or fail when neighboring nodes belong to different classes. In this work, we introduce a simple yet general framework for improving learning in message passing neural networks. Our approach essentially upsamples edges in the original graph by adding "slow nodes" at each edge that can mediate communication between a source and a target node. Our method only modifies the input graph, making it plug-and-play and easy to use with existing models. To understand the benefits of slowing down message passing, we provide theoretical and empirical analyses. We report results on several supervised and self-supervised benchmarks, and show improvements across the board, notably in heterophilic conditions where adjacent nodes are more likely to have different labels. Finally, we show how our approach can be used to generate augmentations for self-supervised learning, where slow nodes are randomly introduced into different edges in the graph to generate multi-scale views with variable path lengths.
• Abstract（参考訳）: メッセージパッシングニューラルネットワークは、グラフ構造化データで多くの成功を収めている。 しかし、近隣ノードが異なるクラスに属している場合、メッセージパッシングがオーバースムースやフェールにつながるケースが多数存在する。 本研究では,メッセージパッシングニューラルネットワークの学習を改善するための,シンプルながら汎用的なフレームワークを提案する。 このアプローチは、ソースとターゲットノード間の通信を仲介する"低いノード"を各エッジに追加することで、元のグラフのエッジを本質的にアップサンプリングする。 提案手法は入力グラフのみを修正し,既存のモデルでプラグイン・アンド・プレイしやすくする。 メッセージパッシングを遅くする利点を理解するため,理論的および経験的分析を行った。 本稿では,複数の教師付きおよび自己監督型ベンチマークの結果を報告し,特に隣接ノードが異なるラベルを持つ傾向にある異好性条件において,ボード全体の改善を示す。 最後に,本手法は,グラフの異なるエッジに遅いノードをランダムに導入し,可変パス長のマルチスケールビューを生成する自己教師付き学習のための拡張生成に利用できることを示す。

関連論文リスト

• Meta-GPS++: Enhancing Graph Meta-Learning with Contrastive Learning and Self-Training [22.473322546354414]
  そこで我々はMeta-GPS++と呼ばれる少数ショットノード分類のための新しいフレームワークを提案する。 まず,同好および異好のグラフ上での識別ノード表現を効率よく学習する手法を採用する。 また、ラベルのないノードから貴重な情報を抽出するために自己学習を適用する。
  論文  参考訳（メタデータ） (2024-07-20T03:05:12Z)
• GRAPES: Learning to Sample Graphs for Scalable Graph Neural Networks [2.4175455407547015]
  グラフニューラルネットワークは、隣人からの情報を集約することでノードを表現することを学ぶ。 いくつかの既存手法では、ノードの小さなサブセットをサンプリングし、GNNをもっと大きなグラフにスケールすることで、この問題に対処している。 本稿では,GNNのトレーニングに不可欠なノードの集合を識別する適応サンプリング手法であるGRAPESを紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:08:47Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Framelet Message Passing [2.479720095773358]
  フレームレットメッセージパッシング(Framelet Message Passing)と呼ばれる,マルチスケールのフレームレット変換に基づく新しいメッセージパッシングを提案する。 ノードメッセージ更新時に複数のホップから隣ノードのフレームレット表現を統合する。 また,ニューラルODEソルバを用いた連続メッセージパッシングを提案する。
  論文  参考訳（メタデータ） (2023-02-28T17:56:19Z)
• Rethinking Explaining Graph Neural Networks via Non-parametric Subgraph Matching [68.35685422301613]
  そこで我々はMatchExplainerと呼ばれる新しい非パラメトリックな部分グラフマッチングフレームワークを提案し、説明的部分グラフを探索する。 ターゲットグラフと他のインスタンスを結合し、ノードに対応する距離を最小化することで最も重要な結合部分構造を識別する。 合成および実世界のデータセットの実験は、最先端のパラメトリックベースラインをかなりのマージンで上回り、MatchExplainerの有効性を示す。
  論文  参考訳（メタデータ） (2023-01-07T05:14:45Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Shortest Path Networks for Graph Property Prediction [13.986963122264632]
  ほとんどのグラフニューラルネットワークモデルは、グラフのノード表現を直接近傍の各ノードに反復的に伝播するという、特定のメッセージパッシングパラダイムに依存している。 本稿では,最短経路近傍の各ノードにグラフのノード表現を伝搬する最短経路メッセージパッシングニューラルネットワークを提案する。 我々のフレームワークは、メッセージパッシングニューラルネットワークを一般化し、より表現力のあるモデルをもたらす。
  論文  参考訳（メタデータ） (2022-06-02T12:04:29Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Very Deep Graph Neural Networks Via Noise Regularisation [57.450532911995516]
  グラフニューラルネットワーク(GNN)は、入力グラフを介して学習されたメッセージパッシングを実行する。 最大100のメッセージパッシングステップを持つディープGNNをトレーニングし、いくつかの最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-06-15T08:50:10Z)
• Modeling Graph Structure via Relative Position for Text Generation from Knowledge Graphs [54.176285420428776]
  グラフ-テキスト生成のための新しいトランスフォーマーベースのエンコーダデコーダアーキテクチャであるGraformerを提案する。 新たなグラフの自己アテンションでは、ノードのエンコーディングは入力グラフのすべてのノードに依存します。 グレーフォーマーは、これらのノード-ノードの関係を異なるアテンションヘッドに対して異なる重み付けを学習し、入力グラフの異なる連結ビューを仮想的に学習する。
  論文  参考訳（メタデータ） (2020-06-16T15:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。