論文の概要: Distributed Training of Graph Convolutional Networks using Subgraph Approximation

• arxiv url: http://arxiv.org/abs/2012.04930v1
• Date: Wed, 9 Dec 2020 09:23:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 01:52:45.605598
• Title: Distributed Training of Graph Convolutional Networks using Subgraph Approximation
• Title（参考訳）: グラフ近似を用いたグラフ畳み込みネットワークの分散学習
• Authors: Alexandra Angerd, Keshav Balasubramanian, Murali Annavaram
• Abstract要約: 本稿では,グラフの複数の分割にまたがる失われる情報をサブグラフ近似スキームで緩和するトレーニング戦略を提案する。 サブグラフ近似アプローチは、分散トレーニングシステムが単一マシン精度で収束するのに役立つ。
• 参考スコア（独自算出の注目度）: 72.89940126490715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern machine learning techniques are successfully being adapted to data modeled as graphs. However, many real-world graphs are typically very large and do not fit in memory, often making the problem of training machine learning models on them intractable. Distributed training has been successfully employed to alleviate memory problems and speed up training in machine learning domains in which the input data is assumed to be independently identical distributed (i.i.d). However, distributing the training of non i.i.d data such as graphs that are used as training inputs in Graph Convolutional Networks (GCNs) causes accuracy problems since information is lost at the graph partitioning boundaries. In this paper, we propose a training strategy that mitigates the lost information across multiple partitions of a graph through a subgraph approximation scheme. Our proposed approach augments each sub-graph with a small amount of edge and vertex information that is approximated from all other sub-graphs. The subgraph approximation approach helps the distributed training system converge at single-machine accuracy, while keeping the memory footprint low and minimizing synchronization overhead between the machines.
• Abstract（参考訳）: 現代の機械学習技術は、グラフとしてモデル化されたデータにうまく適応している。 しかし、多くの現実世界のグラフは典型的には非常に大きく、記憶に合わないため、しばしば機械学習モデルのトレーニングが難解である。 分散トレーニングは、入力データが独立に同じ分散(すなわちd)であると仮定される機械学習領域におけるメモリ問題を緩和し、トレーニングを高速化するために成功している。 しかし、グラフ畳み込みネットワーク(GCN)でトレーニングインプットとして使用されるグラフのような非i.dデータのトレーニングは、グラフ分割境界で情報が失われるため、精度の問題を引き起こす。 本稿では,グラフの複数の分割にまたがる失われた情報をサブグラフ近似スキームによって緩和する学習戦略を提案する。 提案手法は,各サブグラフに,他のすべてのサブグラフから近似した少量のエッジと頂点情報を付加する。 サブグラフ近似アプローチは、メモリフットプリントを低く保ちつつ、マシン間の同期オーバーヘッドを最小化しながら、分散トレーニングシステムがシングルマシン精度で収束するのに役立つ。

関連論文リスト

• GraphScale: A Framework to Enable Machine Learning over Billion-node Graphs [6.418397511692011]
  本研究では,大規模グラフデータを分散的に保存・処理するための,教師付き学習と教師なし学習の両方のための統一的なフレームワークを提案する。 私たちの設計における重要な洞察は、データを保存する労働者とトレーニングを行う労働者の分離です。 実験の結果,GraphScaleはGNNとノード埋め込みの両方の分散トレーニングにおいて,最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-07-22T08:09:36Z)
• Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding [51.75091298017941]
  本稿では,属性付きグラフデータに対する新しいDeep Manifold (Variational) Graph Auto-Encoder (DMVGAE/DMGAE)を提案する。 提案手法は,最先端のベースラインアルゴリズムを,一般的なデータセット間でのダウンストリームタスクの差を大きく越える。
  論文  参考訳（メタデータ） (2024-01-12T17:57:07Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• Scalable Graph Convolutional Network Training on Distributed-Memory Systems [5.169989177779801]
  グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。 グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。 本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-09T17:51:13Z)
• Scaling R-GCN Training with Graph Summarization [71.06855946732296]
  リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。 本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。 AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
  論文  参考訳（メタデータ） (2022-03-05T00:28:43Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Distributed Graph Learning with Smooth Data Priors [61.405131495287755]
  本稿では,ノード上の信号観測からグラフを推論する分散グラフ学習アルゴリズムを提案する。 この結果から,分散手法は,推定グラフの精度を損なうことなく,集中型アルゴリズムよりも通信コストが低いことがわかった。
  論文  参考訳（メタデータ） (2021-12-11T00:52:02Z)
• Learning Massive Graph Embeddings on a Single Machine [11.949017733445624]
  グラフ埋め込みはグラフの各ノード(および/またはエッジタイプ)に対する固定長ベクトル表現である。 大規模グラフの埋め込みを学習するための現在のシステムは、データ移動によってボトルネックとなる。 グラフ埋め込みの効率的な学習システムであるgaiusを提案する。
  論文  参考訳（メタデータ） (2021-01-20T23:17:31Z)
• Sub-graph Contrast for Scalable Self-Supervised Graph Representation Learning [21.0019144298605]
  既存のグラフニューラルネットワークは、計算量やメモリコストが限られているため、完全なグラフデータで供給される。 textscSubg-Conは、中央ノードとそのサンプルサブグラフ間の強い相関を利用して、地域構造情報をキャプチャすることで提案される。 既存のグラフ表現学習アプローチと比較して、textscSubg-Conは、より弱い監視要件、モデル学習のスケーラビリティ、並列化において、顕著なパフォーマンス上のアドバンテージを持っています。
  論文  参考訳（メタデータ） (2020-09-22T01:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。