論文の概要: On the expressive power of message-passing neural networks as global feature map transformers

• arxiv url: http://arxiv.org/abs/2203.09555v1
• Date: Thu, 17 Mar 2022 18:37:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-21 13:52:17.696418
• Title: On the expressive power of message-passing neural networks as global feature map transformers
• Title（参考訳）: グローバル特徴マップ変換器としてのメッセージパッシングニューラルネットワークの表現力について
• Authors: Floris Geerts, Jasper Steegmans and Jan Van den Bussche
• Abstract要約: 入力グラフのノードに格納されている数値的特徴を変換するために,MPNN(Message-passing Neural Network)の能力について検討する。 我々の焦点はグローバルな表現力であり、全ての入力グラフを均一に上り、あるいは有界領域の特徴を持つ有界次数グラフに当てはまる。
• 参考スコア（独自算出の注目度）: 5.040463208115643
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the power of message-passing neural networks (MPNNs) in their capacity to transform the numerical features stored in the nodes of their input graphs. Our focus is on global expressive power, uniformly over all input graphs, or over graphs of bounded degree with features from a bounded domain. Accordingly, we introduce the notion of a global feature map transformer (GFMT). As a yardstick for expressiveness, we use a basic language for GFMTs, which we call MPLang. Every MPNN can be expressed in MPLang, and our results clarify to which extent the converse inclusion holds. We consider exact versus approximate expressiveness; the use of arbitrary activation functions; and the case where only the ReLU activation function is allowed.
• Abstract（参考訳）: 入力グラフのノードに格納されている数値的特徴を変換するために,メッセージパッシングニューラルネットワーク(MPNN)の能力について検討する。 我々の焦点はグローバル表現力であり、全ての入力グラフ、あるいは有界領域の特徴を持つ有界次数のグラフ上で一様である。 そこで我々は,GFMT (Global Feature Map Transformer) の概念を紹介した。 表現性のためのヤードスティックとして、GFMT の基本言語を使用し、これを MPLang と呼ぶ。 いずれのMPNNもMPLangで表現可能であり, コンバース包含度について検討した。 我々は、正確な対近似表現性、任意のアクティベーション関数の使用、ReLUアクティベーション関数のみを許容する場合について考察する。

関連論文リスト

• Scalable Message Passing Neural Networks: No Need for Attention in Large Graph Representation Learning [15.317501970096743]
  我々は、標準畳み込みメッセージパッシングを注意の代わりにプレ層正規化トランスフォーマースタイルのブロックに統合することにより、高性能なディープメッセージパッシングベースグラフニューラルネットワーク(GNN)を実現できることを示す。 結果は、大グラフトランスダクティブ学習における最先端の最先端と競合するが、それ以外は計算的かつメモリ拡張的な注意機構を必要としない。
  論文  参考訳（メタデータ） (2024-10-29T17:18:43Z)
• Probabilistic Graph Rewiring via Virtual Nodes [21.273828055299408]
  メッセージパッシンググラフニューラルネットワーク(MPNN)は、グラフベースの機械学習の強力なパラダイムとして登場した。 MPNNは、受信フィールドの制限や構造的ボトルネックが、グラフ内の情報フローを妨げている、アンダーリーチ(low-reaching)やオーバースキャッシング(over-squashing)といった課題に直面している。 本稿では,暗黙的にメッセージパッシングニューラルネットワーク(IPR-MPNN)を提案する。
  論文  参考訳（メタデータ） (2024-05-27T16:11:49Z)
• Contextualized Messages Boost Graph Representations [1.5178009359320295]
  本稿では,グラフネットワーク(GNN)がグラフとして表現される可能性のあるデータを処理する能力について検討する。 これは、すべてのレベルの能力について調査されているGNNはごくわずかであることを示している。 SIRGCNと広く使われているGNNの関係を数学的に議論し、コントリビューションを文脈に組み込む。
  論文  参考訳（メタデータ） (2024-03-19T08:05:49Z)
• Equivariant Polynomials for Graph Neural Networks [38.15983687193912]
  グラフネットワーク(GNN)は本質的に表現力に制限がある。 本稿では、GNNがある程度の同変を計算する能力に基づく代替パワー階層を提案する。 これらの強化されたGNNは、複数のグラフ学習ベンチマークの実験において最先端の結果を示す。
  論文  参考訳（メタデータ） (2023-02-22T18:53:38Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Your Transformer May Not be as Powerful as You Expect [88.11364619182773]
  連続列列列関数を近似できるかどうかに関して, RPE ベースの変換器のパワーを数学的に解析する。 RPEをベースとしたトランスフォーマーでは,ニューラルネットワークの深さや幅がどんなに深くても近似できない連続列列列列関数が存在することを示す。 我々は,その条件を満たす,Universal RPE-based (URPE) Attentionと呼ばれる新しいアテンションモジュールを開発する。
  論文  参考訳（メタデータ） (2022-05-26T14:51:30Z)
• Graph Neural Networks with Learnable Structural and Positional Representations [83.24058411666483]
  任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。 ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。 両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
  論文  参考訳（メタデータ） (2021-10-15T05:59:15Z)
• MSG-Transformer: Exchanging Local Spatial Information by Manipulating Messenger Tokens [129.10351459066501]
  メッセンジャー(MSG)として機能する各領域に特化トークンを提案する。 これらのMSGトークンを操作することで、領域間で柔軟に視覚情報を交換することができる。 次に、MSGトークンをMSG-Transformerというマルチスケールアーキテクチャに統合する。
  論文  参考訳（メタデータ） (2021-05-31T17:16:42Z)
• Rethinking Global Context in Crowd Counting [70.54184500538338]
  純粋な変換器は、重なり合う画像パッチからグローバル情報で特徴を抽出するために用いられる。 分類によってインスピレーションを得て、入力シーケンスにコンテキストトークンを追加し、画像パッチに対応するトークンと情報交換を容易にする。
  論文  参考訳（メタデータ） (2021-05-23T12:44:27Z)
• Building powerful and equivariant graph neural networks with structural message-passing [74.93169425144755]
  本稿では,2つのアイデアに基づいた,強力かつ同変なメッセージパッシングフレームワークを提案する。 まず、各ノードの周囲の局所的コンテキスト行列を学習するために、特徴に加えてノードの1ホット符号化を伝搬する。 次に,メッセージのパラメトリゼーション手法を提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:15:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。