論文の概要: Asynchronous Algorithmic Alignment with Cocycles

• arxiv url: http://arxiv.org/abs/2306.15632v1
• Date: Tue, 27 Jun 2023 17:13:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 12:33:34.121323
• Title: Asynchronous Algorithmic Alignment with Cocycles
• Title（参考訳）: コサイクルを用いた非同期アルゴリズムアライメント
• Authors: Andrew Dudzik, Tamara von Glehn, Razvan Pascanu, Petar Veli\v{c}kovi\'c
• Abstract要約: グラフニューラルネットワーク(GNN)におけるメッセージパッシングを利用した最先端のニューラルネットワーク推論 典型的なGNNは、メッセージ関数の定義と呼び出しの区別を曖昧にします。 したがって、グラフ全体に無関係なデータを送ることで、非効率なリスクを負う。
• 参考スコア（独自算出の注目度）: 15.823390314503225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art neural algorithmic reasoners make use of message passing in graph neural networks (GNNs). But typical GNNs blur the distinction between the definition and invocation of the message function, forcing a node to send messages to its neighbours at every layer, synchronously. When applying GNNs to learn to execute dynamic programming algorithms, however, on most steps only a handful of the nodes would have meaningful updates to send. One, hence, runs the risk of inefficiencies by sending too much irrelevant data across the graph -- with many intermediate GNN steps having to learn identity functions. In this work, we explicitly separate the concepts of node state update and message function invocation. With this separation, we obtain a mathematical formulation that allows us to reason about asynchronous computation in both algorithms and neural networks.
• Abstract（参考訳）: 最先端のニューラルネットワーク推論器は、グラフニューラルネットワーク(GNN)でメッセージパッシングを利用する。 しかし、典型的なgnnはメッセージ関数の定義と呼び出しの区別を曖昧にし、ノードが各レイヤの近隣にメッセージを同期的に送らなければならない。 しかし、動的プログラミングアルゴリズムの実行を学ぶためにGNNを適用する場合、ほとんどのステップでは、送信すべき意味のあるアップデートはノードのごく一部に限られる。 したがって、多くの中間gnnステップがid関数を学ばなければならないため、グラフ全体にあまりにも多くの無関係なデータを送信することで、非効率なリスクを負うことになる。 この作業では、ノードの状態更新とメッセージ関数呼び出しの概念を明示的に分離します。 この分離により、アルゴリズムとニューラルネットワークの両方で非同期計算を推論できる数学的定式化が得られる。

関連論文リスト

• Towards Dynamic Message Passing on Graphs [104.06474765596687]
  グラフニューラルネットワーク(GNN)のための新しい動的メッセージパッシング機構を提案する。 グラフノードと学習可能な擬似ノードを、測定可能な空間関係を持つ共通空間に投影する。 ノードが空間内を移動すると、その進化する関係は動的メッセージパッシングプロセスのための柔軟な経路構築を促進する。
  論文  参考訳（メタデータ） (2024-10-31T07:20:40Z)
• Graph Neural Networks Gone Hogwild [14.665528337423249]
  メッセージパッシンググラフニューラルネットワーク(GNN)は、推論中にノードが非同期に更新されると、破滅的に誤った予測を生成する。 本研究では、GNNを、部分的に非同期な"hogwild"推論に対して確実に堅牢なアーキテクチャのクラスとして識別する。 そこで我々は,エネルギーGNNと呼ぶ,暗黙的に定義されたGNNアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-06-29T17:11:09Z)
• Temporal Aggregation and Propagation Graph Neural Networks for Dynamic Representation [67.26422477327179]
  時間グラフは連続時間を通してノード間の動的相互作用を示す。 本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。 提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-15T08:17:18Z)
• Graph Ordering Attention Networks [22.468776559433614]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データに関わる多くの問題でうまく使われている。 近隣ノード間のインタラクションをキャプチャする新しいGNNコンポーネントであるグラフ順序付け注意層(GOAT)を導入する。 GOATレイヤは、複雑な情報をキャプチャするグラフメトリクスのモデリングにおけるパフォーマンスの向上を示す。
  論文  参考訳（メタデータ） (2022-04-11T18:13:19Z)
• AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
  イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。 AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
  論文  参考訳（メタデータ） (2022-03-31T16:21:12Z)
• Graph Neural Networks are Dynamic Programmers [0.0]
  グラフニューラルネットワーク(GNN)は動的プログラミング(DP)と一致すると主張される ここでは、理論と抽象代数学の手法を用いて、GNNとDPの間に複雑な関係が存在することを示す。
  論文  参考訳（メタデータ） (2022-03-29T13:27:28Z)
• VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization [70.8567058758375]
  VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。 我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
  論文  参考訳（メタデータ） (2021-10-27T11:48:50Z)
• Identity-aware Graph Neural Networks [63.6952975763946]
  グラフニューラルネットワーク(ID-GNN)を1-WLテストよりも表現力の高いメッセージクラスを開発しています。 ID-GNNは、メッセージパッシング中にノードのIDを誘導的に考慮することにより、既存のGNNアーキテクチャを拡張します。 既存のGNNをID-GNNに変換すると、挑戦ノード、エッジ、グラフプロパティ予測タスクの平均40%の精度が向上することを示す。
  論文  参考訳（メタデータ） (2021-01-25T18:59:01Z)
• Towards Deeper Graph Neural Networks with Differentiable Group Normalization [61.20639338417576]
  グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。 オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。 2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
  論文  参考訳（メタデータ） (2020-06-12T07:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。