論文の概要: Graph Neural Networks Gone Hogwild

• arxiv url: http://arxiv.org/abs/2407.00494v1
• Date: Sat, 29 Jun 2024 17:11:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-07-04 02:56:15.228182
• Title: Graph Neural Networks Gone Hogwild
• Title（参考訳）: グラフニューラルネットワークのホグウィルド
• Authors: Olga Solodova, Nick Richardson, Deniz Oktay, Ryan P. Adams,
• Abstract要約: メッセージパッシンググラフニューラルネットワーク(GNN)は、推論中にノードが非同期に更新されると、破滅的に誤った予測を生成する。 本研究では、GNNを、部分的に非同期な"hogwild"推論に対して確実に堅牢なアーキテクチャのクラスとして識別する。 そこで我々は,エネルギーGNNと呼ぶ,暗黙的に定義されたGNNアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 14.665528337423249
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Message passing graph neural networks (GNNs) would appear to be powerful tools to learn distributed algorithms via gradient descent, but generate catastrophically incorrect predictions when nodes update asynchronously during inference. This failure under asynchrony effectively excludes these architectures from many potential applications, such as learning local communication policies between resource-constrained agents in, e.g., robotic swarms or sensor networks. In this work we explore why this failure occurs in common GNN architectures, and identify "implicitly-defined" GNNs as a class of architectures which is provably robust to partially asynchronous "hogwild" inference, adapting convergence guarantees from work in asynchronous and distributed optimization, e.g., Bertsekas (1982); Niu et al. (2011). We then propose a novel implicitly-defined GNN architecture, which we call an energy GNN. We show that this architecture outperforms other GNNs from this class on a variety of synthetic tasks inspired by multi-agent systems, and achieves competitive performance on real-world datasets.
• Abstract（参考訳）: メッセージパッシンググラフニューラルネットワーク(GNN)は、勾配降下によって分散アルゴリズムを学習する強力なツールであるように見えるが、推論中にノードが非同期に更新されると、破滅的に誤った予測を生成する。 非同期下でのこの失敗は、リソース制約されたエージェント間のローカル通信ポリシー、例えばロボット群やセンサーネットワークなどの多くの潜在的なアプリケーションからこれらのアーキテクチャを効果的に排除する。 本稿では、この障害が一般的なGNNアーキテクチャで発生した理由を考察し、部分的に非同期な"Hogwild"推論に対して確実に堅牢なGNNをアーキテクチャのクラスとして識別し、非同期および分散最適化(例えば、Bertsekas (1982); Niu et al (2011)における作業からの収束を保証する。 そこで我々は,エネルギーGNNと呼ぶ,暗黙的に定義されたGNNアーキテクチャを提案する。 このアーキテクチャは,マルチエージェントシステムにインスパイアされた多種多様な合成タスクにおいて,クラス内の他のGNNよりも優れており,実世界のデータセット上での競合性能を実現していることを示す。

関連論文リスト

• Graph Neural Networks Powered by Encoder Embedding for Improved Node Learning [17.31465642587528]
  グラフニューラルネットワーク(GNN)は、幅広いノードレベルのグラフ学習タスクのための強力なフレームワークとして登場した。 本稿では,1ホットグラフエンコーダ埋め込み (GEE) という統計的手法を用いて,高品質な初期ノード特徴を生成する。 本研究では,教師なし環境と教師なし環境の両方にまたがる広範囲なシミュレーションと実世界の実験を通して,その効果を実証する。
  論文  参考訳（メタデータ） (2025-07-15T21:01:54Z)
• NN-Former: Rethinking Graph Structure in Neural Architecture Representation [67.3378579108611]
  グラフニューラルネットワーク(GNN)とトランスフォーマーは、ニューラルネットワークを表現する上で有望なパフォーマンスを示している。 これまでの研究で見過ごされている間、兄弟ノードは中心的であることを示す。 我々のアプローチは、精度と遅延予測の両方において、常に有望な性能を達成する。
  論文  参考訳（メタデータ） (2025-07-01T15:46:18Z)
• Graph as a feature: improving node classification with non-neural graph-aware logistic regression [2.952177779219163]
  Graph-aware Logistic Regression (GLR) はノード分類タスク用に設計された非神経モデルである。 GNNにアクセスできる情報のごく一部しか使わない従来のグラフアルゴリズムとは異なり、提案モデルではノードの特徴とエンティティ間の関係を同時に活用する。
  論文  参考訳（メタデータ） (2024-11-19T08:32:14Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Asynchronous Algorithmic Alignment with Cocycles [22.993659485873245]
  グラフニューラルネットワーク(GNN)におけるメッセージパッシングを利用した最先端のニューラルネットワーク推論 典型的なGNNは、メッセージ関数の定義と呼び出しの区別を曖昧にし、ノードが隣人にメッセージを同期的に送信することを強制する。 本研究では,ノード状態更新とメッセージ関数呼び出しの概念を明確に分離する。
  論文  参考訳（メタデータ） (2023-06-27T17:13:20Z)
• GNN-Ensemble: Towards Random Decision Graph Neural Networks [3.7620848582312405]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データに広く応用されている。 GNNは、大量のテストデータに基づいて推論を行うために、限られた量のトレーニングデータから潜伏パターンを学習する必要がある。 本稿では、GNNのアンサンブル学習を一歩前進させ、精度、堅牢性、敵攻撃を改善した。
  論文  参考訳（メタデータ） (2023-03-20T18:24:01Z)
• ASGNN: Graph Neural Networks with Adaptive Structure [41.83813812538167]
  本稿では,アダプティブ構造(ASMP)を用いた新しい解釈可能なメッセージパッシング方式を提案する。 ASMPは、異なるレイヤにおけるメッセージパッシングプロセスが動的に調整されたグラフ上で実行可能であるという意味で適応的である。
  論文  参考訳（メタデータ） (2022-10-03T15:10:40Z)
• Robust Graph Neural Networks using Weighted Graph Laplacian [1.8292714902548342]
  グラフニューラルネットワーク(GNN)は、入力データにおけるノイズや敵攻撃に対して脆弱である。 重み付きラプラシアンGNN(RWL-GNN)として知られるGNNの強化のための汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-03T05:36:35Z)
• Distributed Graph Neural Network Training with Periodic Historical Embedding Synchronization [9.503080586294406]
  グラフニューラルネットワーク(GNN)は、ソーシャルネットワーク、レコメンダシステム、ナレッジグラフなどの様々なアプリケーションで広く使われている。 従来のサンプリングベースの手法は、エッジとノードをドロップすることでGNNを加速し、グラフの整合性とモデル性能を損なう。 本稿では,新しい分散GNNトレーニングフレームワークであるDIstributed Graph Embedding SynchronizaTion (DIGEST)を提案する。
  論文  参考訳（メタデータ） (2022-05-31T18:44:53Z)
• EvenNet: Ignoring Odd-Hop Neighbors Improves Robustness of Graph Neural Networks [51.42338058718487]
  グラフニューラルネットワーク(GNN)は、グラフ機械学習における有望なパフォーマンスについて、広範な研究の注目を集めている。 GCNやGPRGNNのような既存のアプローチは、テストグラフ上のホモフィリな変化に直面しても堅牢ではない。 偶数多項式グラフフィルタに対応するスペクトルGNNであるEvenNetを提案する。
  論文  参考訳（メタデータ） (2022-05-27T10:48:14Z)
• Parallel and Distributed Graph Neural Networks: An In-Depth Concurrency Analysis [28.464210819376593]
  グラフニューラルネットワーク(GNN)は、ディープラーニングにおいて最も強力なツールのひとつだ。 ノード分類、グラフ分類、リンク予測などの非構造化ネットワーク上の複雑な問題を高精度に解決する。 しかし、GNNの推論とトレーニングは複雑であり、不規則なグラフ処理の特徴と密度と正規な計算を一意に組み合わせている。 この複雑さは、現代の大規模並列アーキテクチャ上でGNNを効率的に実行することを非常に困難にしている。
  論文  参考訳（メタデータ） (2022-05-19T17:11:45Z)
• ACE-HGNN: Adaptive Curvature Exploration Hyperbolic Graph Neural Network [72.16255675586089]
  本稿では、入力グラフと下流タスクに基づいて最適な曲率を適応的に学習する適応曲率探索ハイパーボリックグラフニューラルネットワークACE-HGNNを提案する。 複数の実世界のグラフデータセットの実験は、競争性能と優れた一般化能力を備えたモデル品質において、顕著で一貫したパフォーマンス改善を示す。
  論文  参考訳（メタデータ） (2021-10-15T07:18:57Z)
• IGNNITION: Bridging the Gap Between Graph Neural Networks and Networking Systems [4.1591055164123665]
  本稿では,ネットワークシステムのためのグラフニューラルネットワーク(GNN)の高速プロトタイピングを可能にする,新しいオープンソースフレームワークIGNNITIONを提案する。 IGNNITIONは、GNNの背後にある複雑さを隠す直感的な高レベルの抽象化に基づいている。 IGNNITIONが生成するGNNモデルは,ネイティブ実装の精度と性能の点で同等であることを示す。
  論文  参考訳（メタデータ） (2021-09-14T14:28:21Z)
• Graph Neural Networks: Architectures, Stability and Transferability [176.3960927323358]
  グラフニューラルネットワーク(GNN)は、グラフでサポートされている信号のための情報処理アーキテクチャである。 これらは、個々の層がグラフ畳み込みフィルタのバンクを含む畳み込みニューラルネットワーク(CNN)の一般化である。
  論文  参考訳（メタデータ） (2020-08-04T18:57:36Z)
• Towards Deeper Graph Neural Networks with Differentiable Group Normalization [61.20639338417576]
  グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。 オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。 2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
  論文  参考訳（メタデータ） (2020-06-12T07:18:02Z)
• Stochastic Graph Neural Networks [123.39024384275054]
  グラフニューラルネットワーク(GNN)は、分散エージェント調整、制御、計画に応用したグラフデータの非線形表現をモデル化する。 現在のGNNアーキテクチャは理想的なシナリオを前提として,環境やヒューマンファクタ,あるいは外部攻撃によるリンク変動を無視している。 これらの状況において、GNNは、トポロジカルなランダム性を考慮していない場合、その分散タスクに対処することができない。
  論文  参考訳（メタデータ） (2020-06-04T08:00:00Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。