論文の概要: Flood and Echo: Algorithmic Alignment of GNNs with Distributed Computing

• arxiv url: http://arxiv.org/abs/2310.06970v1
• Date: Tue, 10 Oct 2023 19:47:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 01:25:29.806776
• Title: Flood and Echo: Algorithmic Alignment of GNNs with Distributed Computing
• Title（参考訳）: Flood and Echo: 分散コンピューティングによるGNNのアルゴリズムアライメント
• Authors: Jo\"el Mathys, Florian Gr\"otschl, Kalyan Varma Nadimpalli, Roger Wattenhofer
• Abstract要約: グラフニューラルネットワークは、学習アルゴリズムに自然に適合する。 抽象的だが汎用的なグラフ構造を通じてタスクを直接表現し、異なるサイズの入力を処理することができる。 これにより、アルゴリズムの最も重要な利点の1つである大きなグラフへのスケーリングと外挿の可能性が開ける。 分散アルゴリズムの設計原理にインスパイアされた新しい実行フレームワークであるFloodとEcho Netを提案する。
• 参考スコア（独自算出の注目度）: 20.706469085872516
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Graph Neural Networks are a natural fit for learning algorithms. They can directly represent tasks through an abstract but versatile graph structure and handle inputs of different sizes. This opens up the possibility for scaling and extrapolation to larger graphs, one of the most important advantages of an algorithm. However, this raises two core questions i) How can we enable nodes to gather the required information in a given graph ($\textit{information exchange}$), even if is far away and ii) How can we design an execution framework which enables this information exchange for extrapolation to larger graph sizes ($\textit{algorithmic alignment for extrapolation}$). We propose a new execution framework that is inspired by the design principles of distributed algorithms: Flood and Echo Net. It propagates messages through the entire graph in a wave like activation pattern, which naturally generalizes to larger instances. Through its sparse but parallel activations it is provably more efficient in terms of message complexity. We study the proposed model and provide both empirical evidence and theoretical insights in terms of its expressiveness, efficiency, information exchange and ability to extrapolate.
• Abstract（参考訳）: グラフニューラルネットワークは、学習アルゴリズムに自然に適合する。 抽象的だが多彩なグラフ構造を通じてタスクを直接表現し、さまざまなサイズの入力を処理することができる。 これにより、大きなグラフへのスケーリングと外挿が可能となり、アルゴリズムの最も重要な利点の1つである。 しかし、これは2つの疑問を提起する。 i) たとえ遠くにいても,ノードが所定のグラフ(\textit{information exchange}$)で必要な情報を収集できるようにするには,どのようにすればよいか。 ii) より大きなグラフサイズへの外挿に関するこの情報交換を可能にする実行フレームワークをどのように設計すればよいか(\textit{algorithmic alignment for extrapolation}$)。 分散アルゴリズムの設計原理にインスパイアされた新しい実行フレームワークであるFloodとEcho Netを提案する。 アクティベーションパターンのようなウェーブで、グラフ全体を通してメッセージを伝搬し、自然により大きなインスタンスに一般化する。 スパースだが並列なアクティベーションにより、メッセージの複雑さの点で、明らかに効率が良い。 提案モデルについて検討し,その表現性,効率性,情報交換能力,外挿能力の両面から,実証的証拠と理論的知見を提供する。

関連論文リスト

• Discovering Message Passing Hierarchies for Mesh-Based Physics Simulation [61.89682310797067]
  DHMPを導入し,異なるノード選択手法を用いてメッセージパッシングネットワークの動的階層を学習する。 本実験はDHMPの有効性を実証し,近年の固定階層型メッセージパッシングネットワークと比較して平均22.7%改善した。
  論文  参考訳（メタデータ） (2024-10-03T15:18:00Z)
• Mesh-based Super-Resolution of Fluid Flows with Multiscale Graph Neural Networks [0.0]
  メッシュベースの流体の3次元超解像を可能にするグラフニューラルネットワーク(GNN)アプローチが本研究で導入された。 このフレームワークでは、GNNは一度に完全なメッシュベースのフィールドでではなく、要素(またはセル)の局所的なメッシュで動くように設計されている。
  論文  参考訳（メタデータ） (2024-09-12T05:52:19Z)
• GGNNs : Generalizing GNNs using Residual Connections and Weighted Message Passing [0.0]
  GNNはグラフ内の関係やパターンを捕捉し、効果的な学習と予測タスクを可能にする。 GNNの一般化力は、層間のメッセージパッシング機構に起因すると一般的に信じられている。 提案手法は,各ノードにアキュミュレートする前にメッセージを重み付けし,Residual接続を追加することによって,メッセージパッシング機構をさらに改良する。
  論文  参考訳（メタデータ） (2023-11-26T22:22:38Z)
• Cooperative Graph Neural Networks [7.2459816681395095]
  グラフニューラルネットワークのクラスは、標準的なメッセージパッシングパラダイムに従う。 本稿では,グラフニューラルネットワークをトレーニングするための新しいフレームワークを提案する。 私たちのアプローチは、より柔軟で動的なメッセージパッシングパラダイムを提供します。
  論文  参考訳（メタデータ） (2023-10-02T15:08:52Z)
• Temporal Aggregation and Propagation Graph Neural Networks for Dynamic Representation [67.26422477327179]
  時間グラフは連続時間を通してノード間の動的相互作用を示す。 本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。 提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-15T08:17:18Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Shortest Path Networks for Graph Property Prediction [13.986963122264632]
  ほとんどのグラフニューラルネットワークモデルは、グラフのノード表現を直接近傍の各ノードに反復的に伝播するという、特定のメッセージパッシングパラダイムに依存している。 本稿では,最短経路近傍の各ノードにグラフのノード表現を伝搬する最短経路メッセージパッシングニューラルネットワークを提案する。 我々のフレームワークは、メッセージパッシングニューラルネットワークを一般化し、より表現力のあるモデルをもたらす。
  論文  参考訳（メタデータ） (2022-06-02T12:04:29Z)
• AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
  イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。 AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
  論文  参考訳（メタデータ） (2022-03-31T16:21:12Z)
• VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization [70.8567058758375]
  VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。 我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
  論文  参考訳（メタデータ） (2021-10-27T11:48:50Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。