論文の概要: Optimizing Federated Learning using Remote Embeddings for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2506.12425v1
• Date: Sat, 14 Jun 2025 09:52:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:46.191674
• Title: Optimizing Federated Learning using Remote Embeddings for Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークのためのリモート埋め込みを用いたフェデレーション学習の最適化
• Authors: Pranjal Naman, Yogesh Simmhan,
• Abstract要約: グラフニューラルネットワーク(GNN)は,グラフデータ構造から意味のある表現を学習する能力によって,近年急速に進歩している。 Federated Learning(FL)は、分散データ上で共有モデルをトレーニングするための、実行可能な機械学習アプローチとして登場した。 遠隔プルーニングを用いたGNNトレーニングフレームワークであるOPESを提案する。
• 参考スコア（独自算出の注目度）: 3.836669717540222
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have experienced rapid advancements in recent years due to their ability to learn meaningful representations from graph data structures. Federated Learning (FL) has emerged as a viable machine learning approach for training a shared model on decentralized data, addressing privacy concerns while leveraging parallelism. Existing methods that address the unique requirements of federated GNN training using remote embeddings to enhance convergence accuracy are limited by their diminished performance due to large communication costs with a shared embedding server. In this paper, we present OpES, an optimized federated GNN training framework that uses remote neighbourhood pruning, and overlaps pushing of embeddings to the server with local training to reduce the network costs and training time. The modest drop in per-round accuracy due to pre-emptive push of embeddings is out-stripped by the reduction in per-round training time for large and dense graphs like Reddit and Products, converging up to $\approx2\times$ faster than the state-of-the-art technique using an embedding server and giving up to $20\%$ better accuracy than vanilla federated GNN learning.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は,グラフデータ構造から意味のある表現を学習する能力によって,近年急速に進歩している。 Federated Learning(FL)は、分散データ上で共有モデルをトレーニングし、並列性を活用しながらプライバシの問題に対処するための、実行可能な機械学習アプローチとして登場した。 コンバージェンス精度を高めるために遠隔埋め込みを用いた統合GNNトレーニングのユニークな要件に対処する既存の方法は、共有埋め込みサーバとの通信コストが大きいため、その性能低下によって制限される。 本稿では,ネットワークコストとトレーニング時間を削減するため,遠隔地でのプルーニングを利用する最適化されたGNNトレーニングフレームワークであるOpsを紹介し,サーバへの埋め込みのプッシュとローカルトレーニングを重畳して,サーバのネットワークコストとトレーニング時間を短縮する。 埋め込みのプリエンプティブなプッシュによるラウンドごとの精度の低下は、RedditやProductsのような大規模で高密度なグラフのラウンドごとのトレーニング時間を短縮し、埋め込みサーバを使った最先端技術よりも最大$$$$$で収束し、バニラフェデレートのGNN学習よりも最大$20$%高い精度を付与することで、はるかに大きくなっています。

関連論文リスト

• Distributed Training of Large Graph Neural Networks with Variable Communication Rates [71.7293735221656]
  大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングすることは、大きなメモリとコンピューティング要件のために、ユニークな課題を提示する。 グラフを複数のマシンに分割する分散GNNトレーニングは、大きなグラフ上でGNNをトレーニングするための一般的なアプローチである。 本稿では,学習モデルの精度を損なうことなく,分散GNNトレーニングにおける通信量を削減するための可変圧縮方式を提案する。
  論文  参考訳（メタデータ） (2024-06-25T14:57:38Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• Scalable Neural Network Training over Distributed Graphs [45.151244961817454]
  実世界のグラフデータは、キャパシティの制約のため、多くのマシンに格納されなければならない。 ネットワーク通信は費用がかかり、GNNのトレーニングの主なボトルネックとなっている。 最初のフレームワークは、すべてのネットワーク分散レベルにおいて、GNNのトレーニングに使用することができる。
  論文  参考訳（メタデータ） (2023-02-25T10:42:34Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Training Your Sparse Neural Network Better with Any Mask [106.134361318518]
  高品質で独立したトレーニング可能なスパースマスクを作成するために、大規模なニューラルネットワークをプルーニングすることが望ましい。 本稿では、デフォルトの高密度ネットワークトレーニングプロトコルから逸脱するためにスパーストレーニングテクニックをカスタマイズできる別の機会を示す。 我々の新しいスパーストレーニングレシピは、スクラッチから様々なスパースマスクでトレーニングを改善するために一般的に適用されます。
  論文  参考訳（メタデータ） (2022-06-26T00:37:33Z)
• Learn Locally, Correct Globally: A Distributed Algorithm for Training Graph Neural Networks [22.728439336309858]
  通信効率の良い分散GNNトレーニング手法であるtextLearn Locally, Correct Globally$ (LLCG)を提案する。 LLCGは、異なるマシン間のノード間の依存関係を無視してGNNをローカルデータでトレーニングし、その後、定期的なモデル平均化のためにローカルにトレーニングされたモデルをサーバに送信する。 我々は,GNNを訓練するための周期モデル平均化による分散手法の収束度を厳密に分析し,周期モデル平均化を適用するが,ノード間の依存性を無視することは既約残差に悩まされることを示す。
  論文  参考訳（メタデータ） (2021-11-16T03:07:01Z)
• ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
  本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。 以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
  論文  参考訳（メタデータ） (2021-10-11T14:45:00Z)
• SpreadGNN: Serverless Multi-task Federated Learning for Graph Neural Networks [13.965982814292971]
  グラフニューラルネットワーク(GNN)は、グラフ機械学習問題の第一選択方法である。 GNNトレーニングのための大量の実世界のグラフデータを集中させることは、ユーザ側のプライバシー上の懸念から禁じられている。 本研究では,新しいマルチタスク・フェデレーション・トレーニング・フレームワークであるSpreadGNNを提案する。
  論文  参考訳（メタデータ） (2021-06-04T22:20:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。