論文の概要: Distributed Training of Graph Convolutional Networks
- arxiv url: http://arxiv.org/abs/2007.06281v2
- Date: Thu, 7 Jan 2021 10:00:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 22:29:43.378721
- Title: Distributed Training of Graph Convolutional Networks
- Title（参考訳）: グラフ畳み込みネットワークの分散トレーニング
- Authors: Simone Scardapane, Indro Spinelli, Paolo Di Lorenzo
- Abstract要約: 基礎となるデータグラフを異なるエージェントに分割する分散シナリオにおいて、どのように推論を行うかを示す。
次に,GCN学習問題を解くために,分散勾配降下法を提案する。
また, 温和条件下でのGCNトレーニング問題の定常解の収束性も確立した。
- 参考スコア（独自算出の注目度）: 24.040921719350283
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The aim of this work is to develop a fully-distributed algorithmic framework
for training graph convolutional networks (GCNs). The proposed method is able
to exploit the meaningful relational structure of the input data, which are
collected by a set of agents that communicate over a sparse network topology.
After formulating the centralized GCN training problem, we first show how to
make inference in a distributed scenario where the underlying data graph is
split among different agents. Then, we propose a distributed gradient descent
procedure to solve the GCN training problem. The resulting model distributes
computation along three lines: during inference, during back-propagation, and
during optimization. Convergence to stationary solutions of the GCN training
problem is also established under mild conditions. Finally, we propose an
optimization criterion to design the communication topology between agents in
order to match with the graph describing data relationships. A wide set of
numerical results validate our proposal. To the best of our knowledge, this is
the first work combining graph convolutional neural networks with distributed
optimization.
- Abstract（参考訳）: この研究の目的は、グラフ畳み込みネットワーク(gcns)を訓練するための完全分散アルゴリズムフレームワークを開発することである。
提案手法は,スパースネットワークトポロジ上で通信するエージェントの集合によって収集される入力データの有意義な関係構造を利用することができる。
集中型GCNトレーニング問題を定式化した後、まず、基礎となるデータグラフを異なるエージェントに分割した分散シナリオで推論する方法を示す。
そこで我々は,GCN学習問題を解くために,分散勾配降下法を提案する。
得られたモデルは、推論中、バックプロパゲーション中、最適化中、という3つの行に沿って計算を分散する。
また, 温和条件下でのGCNトレーニング問題の定常解の収束性も確立した。
最後に,データ関係を記述するグラフと一致するようにエージェント間の通信トポロジを設計するための最適化基準を提案する。
幅広い数値的な結果が我々の提案を裏付ける。
私たちの知る限りでは、グラフ畳み込みニューラルネットワークと分散最適化を組み合わせた最初の作業です。
関連論文リスト
- MassiveGNN: Efficient Training via Prefetching for Massively Connected Distributed Graphs [11.026326555186333]
本稿では,現在最先端のAmazon DistDGL分散GNNフレームワーク上に,パラメータ化された連続プリフェッチと消去方式を提案する。
NERSC(National Energy Research Scientific Computing Center)のPerlmutterスーパーコンピュータでは、エンドツーエンドのトレーニング性能が15～40%向上している。
論文 参考訳（メタデータ） (2024-10-30T05:10:38Z) - Self-Supervised Contrastive Graph Clustering Network via Structural Information Fusion [15.293684479404092]
CGCNと呼ばれる新しいディープグラフクラスタリング手法を提案する。
提案手法では,事前学習プロセスにコントラスト信号と深部構造情報を導入している。
本手法は,複数の実世界のグラフデータセットに対して実験的に検証されている。
論文 参考訳（メタデータ） (2024-08-08T09:49:26Z) - Scalable Graph Compressed Convolutions [68.85227170390864]
ユークリッド畳み込みのための入力グラフのキャリブレーションに置換を適用する微分可能手法を提案する。
グラフキャリブレーションに基づいて,階層型グラフ表現学習のための圧縮畳み込みネットワーク(CoCN)を提案する。
論文 参考訳（メタデータ） (2024-07-26T03:14:13Z) - Distributed Learning over Networks with Graph-Attention-Based
Personalization [49.90052709285814]
分散ディープラーニングのためのグラフベースパーソナライズアルゴリズム(GATTA)を提案する。
特に、各エージェントのパーソナライズされたモデルは、グローバルな部分とノード固有の部分で構成される。
グラフ内の各エージェントを1つのノードとして扱うことにより、ノード固有のパラメータを特徴として扱うことにより、グラフアテンション機構の利点を継承することができる。
論文 参考訳（メタデータ） (2023-05-22T13:48:30Z) - ABC: Aggregation before Communication, a Communication Reduction
Framework for Distributed Graph Neural Network Training and Effective
Partition [0.0]
グラフニューラルネットワーク(GNN)は、グラフ構造データに適したニューラルモデルであり、グラフ構造データの学習表現において優れた性能を示している。
本稿では,分散GNN訓練における通信複雑性について検討する。
グラフ変換プロセスの未知によりエッジ配置を制御できない動的グラフの場合,新しいパーティションパラダイムは特に理想的であることを示す。
論文 参考訳（メタデータ） (2022-12-11T04:54:01Z) - Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。
固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。
GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
論文 参考訳（メタデータ） (2022-05-19T14:08:15Z) - Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。
また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文 参考訳（メタデータ） (2022-05-06T03:37:00Z) - Decentralized Statistical Inference with Unrolled Graph Neural Networks [26.025935320024665]
分散最適化アルゴリズムをグラフニューラルネットワーク(GNN)にアンロールする学習ベースフレームワークを提案する。
エンドツーエンドトレーニングによるリカバリエラーを最小限にすることで、この学習ベースのフレームワークは、モデルのミスマッチ問題を解決する。
コンバージェンス解析により,学習したモデルパラメータがコンバージェンスを加速し,リカバリエラーを広範囲に低減できることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-04T07:52:34Z) - Progressive Graph Convolutional Networks for Semi-Supervised Node
Classification [97.14064057840089]
グラフ畳み込みネットワークは、半教師付きノード分類のようなグラフベースのタスクに対処することに成功した。
本稿では,コンパクトかつタスク固有のグラフ畳み込みネットワークを自動構築する手法を提案する。
論文 参考訳（メタデータ） (2020-03-27T08:32:16Z) - Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。
しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。
本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
論文 参考訳（メタデータ） (2020-01-18T09:14:16Z) - Fractional order graph neural network [28.229115966246937]
本稿では、古典グラフニューラルネットワークと分数グラフニューラルネットワークの局所最適化の課題を解決するために、分数次グラフニューラルネットワーク(FGNN)を提案する。
分数次勾配の近似計算は、分数次微分の計算複雑性を克服する。
論文 参考訳（メタデータ） (2020-01-05T11:55:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。