論文の概要: Improving the Effective Receptive Field of Message-Passing Neural Networks

• arxiv url: http://arxiv.org/abs/2505.23185v1
• Date: Thu, 29 May 2025 07:23:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.737099
• Title: Improving the Effective Receptive Field of Message-Passing Neural Networks
• Title（参考訳）: メッセージパッシングニューラルネットワークの有効受容領域の改善
• Authors: Shahaf E. Finder, Ron Shapira Weber, Moshe Eliasof, Oren Freifeld, Eran Treister,
• Abstract要約: 本稿では,MPNNにおける限定的有効受容場問題について,理論的に解説する。 本稿では,これらの問題に対処するインターリーブ型マルチスケールメッセージパッシングニューラルネットワークアーキテクチャを提案する。 本手法では,グラフの階層的粗大化を取り入れ,マルチスケール表現を横断するメッセージパッシングを実現する。
• 参考スコア（独自算出の注目度）: 17.98720458446544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Message-Passing Neural Networks (MPNNs) have become a cornerstone for processing and analyzing graph-structured data. However, their effectiveness is often hindered by phenomena such as over-squashing, where long-range dependencies or interactions are inadequately captured and expressed in the MPNN output. This limitation mirrors the challenges of the Effective Receptive Field (ERF) in Convolutional Neural Networks (CNNs), where the theoretical receptive field is underutilized in practice. In this work, we show and theoretically explain the limited ERF problem in MPNNs. Furthermore, inspired by recent advances in ERF augmentation for CNNs, we propose an Interleaved Multiscale Message-Passing Neural Networks (IM-MPNN) architecture to address these problems in MPNNs. Our method incorporates a hierarchical coarsening of the graph, enabling message-passing across multiscale representations and facilitating long-range interactions without excessive depth or parameterization. Through extensive evaluations on benchmarks such as the Long-Range Graph Benchmark (LRGB), we demonstrate substantial improvements over baseline MPNNs in capturing long-range dependencies while maintaining computational efficiency.
• Abstract（参考訳）: メッセージパッシングニューラルネットワーク(MPNN)は,グラフ構造化データの処理と解析の基盤となっている。 しかし、その効果は、長い範囲の依存関係や相互作用が不十分に捕捉され、MPNN出力で表現されるオーバースカッシングのような現象によってしばしば妨げられる。 この制限は、畳み込みニューラルネットワーク(CNN)における効果受容場(ERF)の課題を反映している。 本稿では,MPNNにおける制限されたRF問題について,理論的に論じる。 さらに、近年のCNNのRF拡張に触発されて、MPNNにおけるこれらの問題に対処するためのインターリーブド・マルチスケールメッセージパッシングニューラルネットワーク(IM-MPNN)アーキテクチャを提案する。 提案手法は,グラフの階層的粗大化を取り入れ,マルチスケール表現を横断するメッセージパッシングを可能にし,過度な深さやパラメータ化を伴わずに長距離インタラクションを容易にする。 LRGB (Long-Range Graph Benchmark) などのベンチマークの広範な評価を通じて,計算効率を保ちながら,長距離依存性のキャプチャにおいて,ベースラインMPNNよりも大幅に改善されていることを示す。

関連論文リスト

• Physical Rule-Guided Convolutional Neural Network [0.0]
  物理誘導ニューラルネットワーク(PGNN)は、科学原理と現実世界の知識を統合することで限界に対処する。 本稿では,動的,トレーニング可能,自動化されたLCM生成ルールをカスタムレイヤとして組み込んだ物理誘導型CNN(PGCNN)アーキテクチャを提案する。 PGCNNは複数のデータセットで評価され、ベースラインCNNモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-03T17:32:35Z)
• Sign is Not a Remedy: Multiset-to-Multiset Message Passing for Learning on Heterophilic Graphs [77.42221150848535]
  我々は、Multiset to Multiset GNN(M2M-GNN)と呼ばれる新しいメッセージパッシング機能を提案する。 M2M-GNNは上述のSMPの限界を効果的に緩和し, 比較性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-05-31T07:39:22Z)
• Probabilistic Graph Rewiring via Virtual Nodes [21.273828055299408]
  メッセージパッシンググラフニューラルネットワーク(MPNN)は、グラフベースの機械学習の強力なパラダイムとして登場した。 MPNNは、受信フィールドの制限や構造的ボトルネックが、グラフ内の情報フローを妨げている、アンダーリーチ(low-reaching)やオーバースキャッシング(over-squashing)といった課題に直面している。 本稿では,暗黙的にメッセージパッシングニューラルネットワーク(IPR-MPNN)を提案する。
  論文  参考訳（メタデータ） (2024-05-27T16:11:49Z)
• Probabilistically Rewired Message-Passing Neural Networks [41.554499944141654]
  メッセージパッシンググラフニューラルネットワーク(MPNN)は、グラフ構造化入力を処理する強力なツールとして登場した。 MPNNは、潜在的なノイズや欠落した情報を無視して、固定された入力グラフ構造で動作する。 確率的に再構成されたMPNN(PR-MPNN)を考案し、より有益なものを省略しながら、関連するエッジを追加することを学習する。
  論文  参考訳（メタデータ） (2023-10-03T15:43:59Z)
• Information Flow in Graph Neural Networks: A Clinical Triage Use Case [49.86931948849343]
  グラフニューラルネットワーク(GNN)は、マルチモーダルグラフとマルチリレーショナルグラフを処理する能力によって、医療やその他の領域で人気を集めている。 GNNにおける埋め込み情報のフローが知識グラフ(KG)におけるリンクの予測に与える影響について検討する。 以上の結果から,ドメイン知識をGNN接続に組み込むことで,KGと同じ接続を使用する場合や,制約のない埋め込み伝搬を行う場合よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-09-12T09:18:12Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• MGNNI: Multiscale Graph Neural Networks with Implicit Layers [53.75421430520501]
  暗黙グラフニューラルネットワーク(GNN)は、基礎となるグラフの長距離依存性をキャプチャするために提案されている。 暗黙的GNNの2つの弱点は、長距離依存を捉えるための限られた有効範囲による制約付き表現性と、複数の解像度でグラフ上のマルチスケール情報をキャプチャする能力の欠如である。 グラフ上のマルチスケール構造をモデル化できる暗黙の層(MGNNI)を持つマルチスケールグラフニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-10-15T18:18:55Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。