論文の概要: DGI: Easy and Efficient Inference for GNNs

• arxiv url: http://arxiv.org/abs/2211.15082v1
• Date: Mon, 28 Nov 2022 05:54:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 19:32:05.578125
• Title: DGI: Easy and Efficient Inference for GNNs
• Title（参考訳）: dgi:gnnの簡単かつ効率的な推論
• Authors: Peiqi Yin, Xiao Yan, Jinjing Zhou, Qiang Fu, Zhenkun Cai, James Cheng, Bo Tang, Minjie Wang
• Abstract要約: 我々は,GNNモデルのトレーニングコードを階層的に自動的に翻訳する,GNNモデル推論の容易かつ効率的なシステムを開発した。 実験結果から、ディープグラフ推論(DGI)は、異なるデータセットとハードウェア設定間で、階層的推論を一貫して上回ることが示された。
• 参考スコア（独自算出の注目度）: 19.272917075757324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While many systems have been developed to train Graph Neural Networks (GNNs), efficient model inference and evaluation remain to be addressed. For instance, using the widely adopted node-wise approach, model evaluation can account for up to 94% of the time in the end-to-end training process due to neighbor explosion, which means that a node accesses its multi-hop neighbors. On the other hand, layer-wise inference avoids the neighbor explosion problem by conducting inference layer by layer such that the nodes only need their one-hop neighbors in each layer. However, implementing layer-wise inference requires substantial engineering efforts because users need to manually decompose a GNN model into layers for computation and split workload into batches to fit into device memory. In this paper, we develop Deep Graph Inference (DGI) -- a system for easy and efficient GNN model inference, which automatically translates the training code of a GNN model for layer-wise execution. DGI is general for various GNN models and different kinds of inference requests, and supports out-of-core execution on large graphs that cannot fit in CPU memory. Experimental results show that DGI consistently outperforms layer-wise inference across different datasets and hardware settings, and the speedup can be over 1,000x.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)を訓練するために多くのシステムが開発されているが、効率的なモデル推論と評価は未解決のままである。 例えば、広く採用されているノードワイドアプローチを使用して、モデル評価は、隣の爆発によるエンドツーエンドのトレーニングプロセスにおいて、最大94%の時間を占めることができる。 一方、層ワイド推論は、各層に1ホップの隣り合わせしか必要としないように、各層で推論層を実行することによって、隣の爆発問題を回避している。 しかし、計算のためにGNNモデルをレイヤーに手動で分解し、ワークロードをデバイスメモリに適合させるためには、バッチに分割する必要があるため、レイヤワイズ推論を実装するにはかなりのエンジニアリング作業が必要である。 本稿では,GNNモデルの学習コードを階層的実行のために自動的に翻訳する,簡易かつ効率的なGNNモデル推論システムであるDeep Graph Inference(DGI)を開発する。 DGIはさまざまなGNNモデルとさまざまな種類の推論要求に対して汎用的であり、CPUメモリに収まらない大きなグラフ上でのコア外実行をサポートする。 実験の結果、DGIは異なるデータセットとハードウェア設定で階層的推論を一貫して上回り、スピードアップは1000倍以上であることがわかった。

関連論文リスト

• Scalable and Consistent Graph Neural Networks for Distributed Mesh-based Data-driven Modeling [0.0]
  この研究は、メッシュベースのモデリングアプリケーションのための分散グラフニューラルネットワーク(GNN)方法論を開発する。 一貫性とは、1つのランク(1つの大きなグラフ)で訓練され評価されたGNNが、複数のランク(分割グラフ)での評価と算術的に等価であるという事実を指す。 NekRSメッシュのパーティショニングが分散GNNトレーニングと推論ルーチンにどのようにリンクできるかを示し、スケーラブルなメッシュベースのデータ駆動モデリングワークフローを実現する。
  論文  参考訳（メタデータ） (2024-10-02T15:22:27Z)
• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Layer-wise training for self-supervised learning on graphs [0.0]
  大規模グラフ上でのグラフニューラルネットワーク(GNN)のエンドツーエンドトレーニングは、いくつかのメモリと計算上の課題を示す。 本稿では,GNN層を自己教師型で学習するアルゴリズムであるレイヤワイズ正規化グラフInfomaxを提案する。
  論文  参考訳（メタデータ） (2023-09-04T10:23:39Z)
• Graph Ladling: Shockingly Simple Parallel GNN Training without Intermediate Communication [100.51884192970499]
  GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。 GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。 本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
  論文  参考訳（メタデータ） (2023-06-18T03:33:46Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Distributed Graph Neural Network Training with Periodic Historical Embedding Synchronization [9.503080586294406]
  グラフニューラルネットワーク(GNN)は、ソーシャルネットワーク、レコメンダシステム、ナレッジグラフなどの様々なアプリケーションで広く使われている。 従来のサンプリングベースの手法は、エッジとノードをドロップすることでGNNを加速し、グラフの整合性とモデル性能を損なう。 本稿では,新しい分散GNNトレーニングフレームワークであるDIstributed Graph Embedding SynchronizaTion (DIGEST)を提案する。
  論文  参考訳（メタデータ） (2022-05-31T18:44:53Z)
• NDGGNET-A Node Independent Gate based Graph Neural Networks [6.155450481110693]
  疎結合なノードでは、単一のGNN層を通して十分な情報を得るのは難しい。 この論文では、通常のGNNモデルでより多くのレイヤに対応可能な新しいフレームワークを定義する。 実験結果から,提案モデルがモデル深度を効果的に向上し,複数のデータセットで良好に動作できることが示唆された。
  論文  参考訳（メタデータ） (2022-05-11T08:51:04Z)
• VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization [70.8567058758375]
  VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。 我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
  論文  参考訳（メタデータ） (2021-10-27T11:48:50Z)
• Combining Label Propagation and Simple Models Out-performs Graph Neural Networks [52.121819834353865]
  多くの標準的なトランスダクティブノード分類ベンチマークでは、最先端のGNNの性能を超えたり、一致させることができる。 これをC&S(Correct and Smooth)と呼ぶ。 我々のアプローチは、様々なベンチマークで最先端のGNNの性能を上回るか、ほぼ一致している。
  論文  参考訳（メタデータ） (2020-10-27T02:10:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。