論文の概要: Flood and Echo Net: Algorithmically Aligned GNNs that Generalize

• arxiv url: http://arxiv.org/abs/2310.06970v3
• Date: Mon, 3 Jun 2024 10:50:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 20:50:48.252939
• Title: Flood and Echo Net: Algorithmically Aligned GNNs that Generalize
• Title（参考訳）: FloodとEcho Net: アルゴリズムで最適化されたGNN
• Authors: Joël Mathys, Florian Grötschla, Kalyan Varma Nadimpalli, Roger Wattenhofer,
• Abstract要約: 我々は新しいタイプのグラフニューラルネットワークとしてFloodとEcho Netを提案する。 様々な大きさのグラフをまたいで一般化するメカニズムの本質的な能力は、アルゴリズム学習のタスクの実践的なアーキテクチャとして位置づけられる。 我々は,Flood と Echo Net を様々な合成タスクと SALSA-CLRS ベンチマークでテストし,アルゴリズムによる実行のアライメントにより,より大きなグラフサイズへの一般化が向上することを確認した。
• 参考スコア（独自算出の注目度）: 18.95453617434051
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Most Graph Neural Networks follow the standard message-passing framework where, in each step, all nodes simultaneously communicate with each other. We want to challenge this paradigm by aligning the computation more closely to the execution of distributed algorithms and propose the Flood and Echo Net. A single round of a Flood and Echo Net consists of an origin node and a flooding phase followed by an echo phase. First, during the flooding, messages are sent from the origin and propagated outwards throughout the entire graph. Then, during the echo, the message flow reverses and messages are sent back towards the origin. As nodes are only sparsely activated upon receiving a message, this leads to a wave-like activation pattern that traverses the graph. Through these sparse but parallel activations, the Net becomes more expressive than traditional MPNNs which are limited by the 1-WL test and also is provably more efficient in terms of message complexity. Moreover, the mechanism's inherent ability to generalize across graphs of varying sizes positions it as a practical architecture for the task of algorithmic learning. We test the Flood and Echo Net on a variety of synthetic tasks and the SALSA-CLRS benchmark and find that the algorithmic alignment of the execution improves generalization to larger graph sizes.
• Abstract（参考訳）: ほとんどのグラフニューラルネットワークは標準的なメッセージパッシングフレームワークに従い、各ステップですべてのノードが同時に通信する。 我々は、分散アルゴリズムの実行をより緊密に調整することで、このパラダイムに挑戦し、FloodとEcho Netを提案する。 FloodとEcho Netの1ラウンドは、起点ノードと浸水フェーズと、エコーフェーズとからなる。 まず、洪水の間、発信元からメッセージが送られ、グラフ全体を通して外部に伝播する。 そして、エコーの間、メッセージフローが反転し、メッセージが発信元に向かって送り返される。 ノードはメッセージを受け取るとわずかにアクティベートされるので、これはグラフを横切るウェーブのようなアクティベーションパターンにつながる。 これらのスパースだが並列なアクティベーションにより、Netは1-WLテストによって制限される従来のMPNNよりも表現力が高くなり、メッセージの複雑さの観点からも確実に効率が良い。 さらに、様々な大きさのグラフをまたいで一般化するメカニズムの本質的な能力は、アルゴリズム学習のタスクのための実践的なアーキテクチャとして位置づけられている。 我々は,Flood と Echo Net を様々な合成タスクと SALSA-CLRS ベンチマークでテストし,アルゴリズムによる実行のアライメントにより,より大規模なグラフサイズへの一般化が向上することを確認した。

関連論文リスト

• GGNNs : Generalizing GNNs using Residual Connections and Weighted Message Passing [0.0]
  GNNはグラフ内の関係やパターンを捕捉し、効果的な学習と予測タスクを可能にする。 GNNの一般化力は、層間のメッセージパッシング機構に起因すると一般的に信じられている。 提案手法は,各ノードにアキュミュレートする前にメッセージを重み付けし,Residual接続を追加することによって,メッセージパッシング機構をさらに改良する。
  論文  参考訳（メタデータ） (2023-11-26T22:22:38Z)
• Network Alignment with Transferable Graph Autoencoders [79.89704126746204]
  本稿では,強力で堅牢なノード埋め込みを抽出するグラフオートエンコーダアーキテクチャを提案する。 生成した埋め込みがグラフの固有値と固有ベクトルと結びついていることを証明する。 提案フレームワークは転送学習とデータ拡張を利用して,大規模なネットワークアライメントを実現する。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Cooperative Graph Neural Networks [7.2459816681395095]
  グラフニューラルネットワークのクラスは、標準的なメッセージパッシングパラダイムに従う。 本稿では,グラフニューラルネットワークをトレーニングするための新しいフレームワークを提案する。 私たちのアプローチは、より柔軟で動的なメッセージパッシングパラダイムを提供します。
  論文  参考訳（メタデータ） (2023-10-02T15:08:52Z)
• UniG-Encoder: A Universal Feature Encoder for Graph and Hypergraph Node Classification [6.977634174845066]
  グラフおよびハイパーグラフ表現学習のための普遍的特徴エンコーダ(UniG-Encoder)が設計されている。 アーキテクチャは、連結ノードのトポロジ的関係をエッジやハイパーエッジに前方変換することから始まる。 符号化されたノードの埋め込みは、投影行列の変換によって記述された逆変換から導かれる。
  論文  参考訳（メタデータ） (2023-08-03T09:32:50Z)
• Temporal Aggregation and Propagation Graph Neural Networks for Dynamic Representation [67.26422477327179]
  時間グラフは連続時間を通してノード間の動的相互作用を示す。 本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。 提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-15T08:17:18Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Shortest Path Networks for Graph Property Prediction [13.986963122264632]
  ほとんどのグラフニューラルネットワークモデルは、グラフのノード表現を直接近傍の各ノードに反復的に伝播するという、特定のメッセージパッシングパラダイムに依存している。 本稿では,最短経路近傍の各ノードにグラフのノード表現を伝搬する最短経路メッセージパッシングニューラルネットワークを提案する。 我々のフレームワークは、メッセージパッシングニューラルネットワークを一般化し、より表現力のあるモデルをもたらす。
  論文  参考訳（メタデータ） (2022-06-02T12:04:29Z)
• AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
  イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。 AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
  論文  参考訳（メタデータ） (2022-03-31T16:21:12Z)
• VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization [70.8567058758375]
  VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。 我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
  論文  参考訳（メタデータ） (2021-10-27T11:48:50Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。