論文の概要: Reducing Training Time in Cross-Silo Federated Learning using Multigraph Topology

• arxiv url: http://arxiv.org/abs/2207.09657v4
• Date: Mon, 31 Jul 2023 02:36:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-02 00:35:07.645643
• Title: Reducing Training Time in Cross-Silo Federated Learning using Multigraph Topology
• Title（参考訳）: マルチグラフトポロジーを用いたクロスサイロフェデレーション学習における学習時間短縮
• Authors: Tuong Do, Binh X. Nguyen, Vuong Pham, Toan Tran, Erman Tjiputra, Quang D. Tran, Anh Nguyen
• Abstract要約: クロスサイロ・フェデレーション学習のための新しいマルチグラフトポロジーを提案する。 孤立ノードの存在により、他のノードを待つことなくモデルアグリゲーションを実行できます。 提案手法は,最近の最先端トポロジと比較してトレーニング時間を著しく短縮する。
• 参考スコア（独自算出の注目度）: 12.82009956816023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning is an active research topic since it enables several participants to jointly train a model without sharing local data. Currently, cross-silo federated learning is a popular training setting that utilizes a few hundred reliable data silos with high-speed access links to training a model. While this approach has been widely applied in real-world scenarios, designing a robust topology to reduce the training time remains an open problem. In this paper, we present a new multigraph topology for cross-silo federated learning. We first construct the multigraph using the overlay graph. We then parse this multigraph into different simple graphs with isolated nodes. The existence of isolated nodes allows us to perform model aggregation without waiting for other nodes, hence effectively reducing the training time. Intensive experiments on three public datasets show that our proposed method significantly reduces the training time compared with recent state-of-the-art topologies while maintaining the accuracy of the learned model. Our code can be found at https://github.com/aioz-ai/MultigraphFL
• Abstract（参考訳）: フェデレーション学習は、複数の参加者がローカルデータを共有せずに共同でモデルをトレーニングできるため、活発な研究テーマである。 現在、クロスサイロフェデレーション学習は、数百の信頼性のあるデータサイロと高速アクセスリンクを使ってモデルをトレーニングする一般的なトレーニング環境である。 このアプローチは現実世界のシナリオで広く適用されているが、トレーニング時間を短縮するために堅牢なトポロジを設計することは未解決の問題である。 本稿では,クロスサイロフェデレート学習のための新しいマルチグラフトポロジーを提案する。 まずオーバーレイグラフを用いてマルチグラフを構築する。 次に、この多重グラフを孤立ノードを持つ異なる単純なグラフに解析する。 孤立ノードの存在により、他のノードを待つことなくモデルアグリゲーションを実行できるため、トレーニング時間を効果的に短縮できる。 3つの公開データセットに対する集中的な実験により,提案手法は学習モデルの精度を維持しながら,最近の最先端のトポロジと比較してトレーニング時間を著しく短縮することを示した。 私たちのコードはhttps://github.com/aioz-ai/MultigraphFLにある。

関連論文リスト

• Sparsity exploitation via discovering graphical models in multi-variate time-series forecasting [1.2762298148425795]
  本稿では,グラフ生成モジュールとGNN予測モジュールを含む分離学習手法を提案する。 まず、Graphical Lasso(またはGraphLASSO)を使用して、データから空間パターンを直接利用してグラフ構造を構築します。 次に、これらのグラフ構造と入力データをGCRN(Graph Convolutional Recurrent Network)に適合させて予測モデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-06-29T16:48:00Z)
• Personalized Subgraph Federated Learning [56.52903162729729]
  本稿では,新たなサブグラフFL問題,パーソナライズされたサブグラフFLを導入する。 本稿では,Federated Personalized sUBgraph Learning (FED-PUB)を提案する。 オーバーラップしないサブグラフとオーバーラップするサブグラフの両方を考慮して,FED-PUBのサブグラフFL性能を6つのデータセットで検証した。
  論文  参考訳（メタデータ） (2022-06-21T09:02:53Z)
• KNN-Diffusion: Image Generation via Large-Scale Retrieval [40.6656651653888]
  適応する学習は、いくつかの新しい機能を可能にします。 微調整の訓練されたモデルと新しいサンプルは、単にテーブルに追加するだけで実現できる。 我々の拡散モデルでは、共同のテキスト・イメージ・マルチモーダル・メトリックを利用することで、画像のみを訓練する。
  論文  参考訳（メタデータ） (2022-04-06T14:13:35Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Learning Sparse and Continuous Graph Structures for Multivariate Time Series Forecasting [5.359968374560132]
  Learning Sparse and Continuous Graphs for Forecasting (LSCGF)は、グラフ学習と予測に結合する新しいディープラーニングモデルである。 本稿では,スムーズ・スパース・ユニット (SSU) という新しい手法を提案する。 我々のモデルは、訓練可能な小さなパラメータで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-01-24T13:35:37Z)
• Learnable Graph Matching: Incorporating Graph Partitioning with Deep Feature Learning for Multiple Object Tracking [58.30147362745852]
  フレーム間のデータアソシエーションは、Multiple Object Tracking(MOT)タスクの中核にある。 既存の手法は、主にトラックレットとフレーム内検出の間のコンテキスト情報を無視する。 そこで本研究では,学習可能なグラフマッチング手法を提案する。
  論文  参考訳（メタデータ） (2021-03-30T08:58:45Z)
• Distributed Training of Graph Convolutional Networks using Subgraph Approximation [72.89940126490715]
  本稿では,グラフの複数の分割にまたがる失われる情報をサブグラフ近似スキームで緩和するトレーニング戦略を提案する。 サブグラフ近似アプローチは、分散トレーニングシステムが単一マシン精度で収束するのに役立つ。
  論文  参考訳（メタデータ） (2020-12-09T09:23:49Z)
• Robustness to Missing Features using Hierarchical Clustering with Split Neural Networks [39.29536042476913]
  階層的クラスタリングを用いて類似の入力特徴をクラスタリングする,単純かつ効果的な手法を提案する。 本手法を一連のベンチマークデータセット上で評価し,単純な計算手法を用いても有望な改善を示す。
  論文  参考訳（メタデータ） (2020-11-19T00:35:08Z)
• Neural Language Modeling for Contextualized Temporal Graph Generation [49.21890450444187]
  本稿では,大規模事前学習言語モデルを用いた文書のイベントレベル時間グラフの自動生成に関する最初の研究について述べる。
  論文  参考訳（メタデータ） (2020-10-20T07:08:00Z)
• Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks [91.65637773358347]
  多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。 グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。 提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-24T04:02:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。