論文の概要: GLASU: A Communication-Efficient Algorithm for Federated Learning with Vertically Distributed Graph Data

• arxiv url: http://arxiv.org/abs/2303.09531v1
• Date: Thu, 16 Mar 2023 17:47:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 14:18:25.060621
• Title: GLASU: A Communication-Efficient Algorithm for Federated Learning with Vertically Distributed Graph Data
• Title（参考訳）: GLASU: 垂直分散グラフデータを用いたフェデレーション学習のための通信効率の良いアルゴリズム
• Authors: Xinwei Zhang, Mingyi Hong and Jie Chen
• Abstract要約: 本稿では,クライアントとサーバ間でバックボーンGNNを分割するモデル分割手法と通信効率のよいGLASUを提案する。 提案アルゴリズムは,実世界のデータセットに対する理論的解析と広範な数値実験を行い,中央集権的な学習を行うと,バックボーンのGNNと性能が一致するGNNモデルを効果的に訓練することを示した。
• 参考スコア（独自算出の注目度）: 44.02629656473639
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vertical federated learning (VFL) is a distributed learning paradigm, where computing clients collectively train a model based on the partial features of the same set of samples they possess. Current research on VFL focuses on the case when samples are independent, but it rarely addresses an emerging scenario when samples are interrelated through a graph. For graph-structured data, graph neural networks (GNNs) are competitive machine learning models, but a naive implementation in the VFL setting causes a significant communication overhead. Moreover, the analysis of the training is faced with a challenge caused by the biased stochastic gradients. In this paper, we propose a model splitting method that splits a backbone GNN across the clients and the server and a communication-efficient algorithm, GLASU, to train such a model. GLASU adopts lazy aggregation and stale updates to skip aggregation when evaluating the model and skip feature exchanges during training, greatly reducing communication. We offer a theoretical analysis and conduct extensive numerical experiments on real-world datasets, showing that the proposed algorithm effectively trains a GNN model, whose performance matches that of the backbone GNN when trained in a centralized manner.
• Abstract（参考訳）: 垂直フェデレーション学習(vertical federated learning, vfl)は、分散学習パラダイムであり、コンピュータクライアントは、所有する同じサンプルセットの部分的な特徴に基づいて、総合的にモデルをトレーニングする。 VFLに関する現在の研究は、サンプルが独立した場合に焦点を当てているが、グラフを通してサンプルが相互に関連付けられている場合、新たなシナリオに対処することは滅多にない。 グラフ構造化データでは、グラフニューラルネットワーク(gnn)は競争力のある機械学習モデルであるが、vfl設定におけるナイーブな実装は重要な通信オーバーヘッドをもたらす。 さらに,偏りのある確率勾配によって引き起こされる課題に対して,トレーニングの分析を行う。 本稿では,クライアントとサーバ間でバックボーンGNNを分割するモデル分割手法と通信効率のよいGLASUを提案する。 GLASUは遅延アグリゲーションと古いアップデートを採用し、モデルの評価時にアグリゲーションをスキップし、トレーニング中に機能交換をスキップする。 提案アルゴリズムは,実世界のデータセットに対する理論的解析と広範な数値実験を行い,中央集権的な学習を行うと,背骨GNNの性能が一致するGNNモデルを効果的に訓練することを示した。

関連論文リスト

• Self-Supervised Contrastive Graph Clustering Network via Structural Information Fusion [15.293684479404092]
  CGCNと呼ばれる新しいディープグラフクラスタリング手法を提案する。 提案手法では,事前学習プロセスにコントラスト信号と深部構造情報を導入している。 本手法は,複数の実世界のグラフデータセットに対して実験的に検証されている。
  論文  参考訳（メタデータ） (2024-08-08T09:49:26Z)
• Novel Representation Learning Technique using Graphs for Performance Analytics [0.0]
  本稿では,グラフニューラルネットワーク(GNN)技術の進歩を活用するために,パフォーマンスデータをグラフに変換する新しいアイデアを提案する。 ソーシャルネットワークのような他の機械学習アプリケーションドメインとは対照的に、グラフは提供されない。 我々は,GNNから生成された埋め込みの有効性を,単純なフィードフォワードニューラルネットワークによる回帰処理の性能評価に基づいて評価した。
  論文  参考訳（メタデータ） (2024-01-19T16:34:37Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Scheduling and Communication Schemes for Decentralized Federated Learning [0.31410859223862103]
  勾配降下(SGD)アルゴリズムを用いた分散連合学習(DFL)モデルが導入された。 DFLの3つのスケジューリングポリシーがクライアントと並列サーバ間の通信のために提案されている。 その結果,提案した計画警察は,収束速度と最終グローバルモデルの両方に影響を及ぼすことがわかった。
  論文  参考訳（メタデータ） (2023-11-27T17:35:28Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Distributed Learning over Networks with Graph-Attention-Based Personalization [49.90052709285814]
  分散ディープラーニングのためのグラフベースパーソナライズアルゴリズム(GATTA)を提案する。 特に、各エージェントのパーソナライズされたモデルは、グローバルな部分とノード固有の部分で構成される。 グラフ内の各エージェントを1つのノードとして扱うことにより、ノード固有のパラメータを特徴として扱うことにより、グラフアテンション機構の利点を継承することができる。
  論文  参考訳（メタデータ） (2023-05-22T13:48:30Z)
• ABC: Aggregation before Communication, a Communication Reduction Framework for Distributed Graph Neural Network Training and Effective Partition [0.0]
  グラフニューラルネットワーク(GNN)は、グラフ構造データに適したニューラルモデルであり、グラフ構造データの学習表現において優れた性能を示している。 本稿では,分散GNN訓練における通信複雑性について検討する。 グラフ変換プロセスの未知によりエッジ配置を制御できない動的グラフの場合,新しいパーティションパラダイムは特に理想的であることを示す。
  論文  参考訳（メタデータ） (2022-12-11T04:54:01Z)
• Decentralized Event-Triggered Federated Learning with Heterogeneous Communication Thresholds [12.513477328344255]
  ネットワークグラフトポロジ上での非同期なイベントトリガーによるコンセンサス反復による分散モデルアグリゲーションのための新しい手法を提案する。 本手法は,分散学習とグラフコンセンサス文学における標準的な仮定の下で,グローバルな最適学習モデルを実現することを実証する。
  論文  参考訳（メタデータ） (2022-04-07T20:35:37Z)
• Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
  グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。 提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
  論文  参考訳（メタデータ） (2020-06-07T07:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。