論文の概要: PPSGCN: A Privacy-Preserving Subgraph Sampling Based Distributed GCN Training Method

• arxiv url: http://arxiv.org/abs/2110.12906v1
• Date: Fri, 22 Oct 2021 08:22:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-26 15:12:17.008174
• Title: PPSGCN: A Privacy-Preserving Subgraph Sampling Based Distributed GCN Training Method
• Title（参考訳）: PPSGCN: プライバシ保護サブグラフサンプリングに基づく分散GCNトレーニング手法
• Authors: Binchi Zhang, Minnan Luo, Shangbin Feng, Ziqi Liu, Jun Zhou, Qinghua Zheng
• Abstract要約: グラフ畳み込みネットワーク(GCN)はグラフ表現学習に広く採用されており、優れた性能を実現している。 既存のメソッドは、ノード機能を異なるクライアント間で直接交換する。 本稿では,プライバシ保護サブグラフサンプリングに基づく分散GCNトレーニング手法(PPSGCN)を提案する。
• 参考スコア（独自算出の注目度）: 28.829761038950707
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph convolutional networks (GCNs) have been widely adopted for graph representation learning and achieved impressive performance. For larger graphs stored separately on different clients, distributed GCN training algorithms were proposed to improve efficiency and scalability. However, existing methods directly exchange node features between different clients, which results in data privacy leakage. Federated learning was incorporated in graph learning to tackle data privacy, while they suffer from severe performance drop due to non-iid data distribution. Besides, these approaches generally involve heavy communication and memory overhead during the training process. In light of these problems, we propose a Privacy-Preserving Subgraph sampling based distributed GCN training method (PPSGCN), which preserves data privacy and significantly cuts back on communication and memory overhead. Specifically, PPSGCN employs a star-topology client-server system. We firstly sample a local node subset in each client to form a global subgraph, which greatly reduces communication and memory costs. We then conduct local computation on each client with features or gradients of the sampled nodes. Finally, all clients securely communicate with the central server with homomorphic encryption to combine local results while preserving data privacy. Compared with federated graph learning methods, our PPSGCN model is trained on a global graph to avoid the negative impact of local data distribution. We prove that our PPSGCN algorithm would converge to a local optimum with probability 1. Experiment results on three prevalent benchmarks demonstrate that our algorithm significantly reduces communication and memory overhead while maintaining desirable performance. Further studies not only demonstrate the fast convergence of PPSGCN, but discuss the trade-off between communication and local computation cost as well.
• Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)はグラフ表現学習に広く採用されており、優れた性能を実現している。 異なるクライアントに個別に格納される大きなグラフに対して、効率とスケーラビリティを改善するために分散GCNトレーニングアルゴリズムが提案された。 しかし、既存のメソッドは異なるクライアント間でノード機能を直接交換するので、データのプライバシリークが発生する。 フェデレーション学習は、データプライバシに取り組むためにグラフ学習に取り入れられたが、非iidデータ分散によるパフォーマンス低下に苦しんだ。 さらに、これらのアプローチは一般的に、トレーニングプロセス中に大量の通信とメモリオーバーヘッドを伴います。 これらの問題を考慮し,プライバシ保護サブグラフサンプリングに基づく分散GCNトレーニング手法(PPSGCN)を提案する。 具体的には、PSGCNはスタートポロジークライアントサーバシステムを採用している。 まず、各クライアントのローカルノードサブセットをサンプリングし、グローバルサブグラフを作成し、通信とメモリコストを大幅に削減する。 次に、サンプルノードの機能や勾配で各クライアント上でローカル計算を行います。 最後に、すべてのクライアントは、データプライバシを保持しながら、ローカル結果を組み合わせるために、同型暗号化で中央サーバとセキュアに通信する。 フェデレーショングラフ学習法と比較すると,ppsgcnモデルは局所データ分布の負の影響を避けるために,グローバルグラフ上でトレーニングされる。 我々は PPSGCN アルゴリズムが確率 1 の局所最適値に収束することを証明した。 3つのベンチマーク実験の結果,提案アルゴリズムは良好な性能を維持しつつ,通信とメモリオーバーヘッドを大幅に低減することが示された。 さらなる研究はPSGCNの高速収束を実証するだけでなく、通信と局所計算コストのトレードオフについても論じている。

関連論文リスト

• SpreadFGL: Edge-Client Collaborative Federated Graph Learning with Adaptive Neighbor Generation [16.599474223790843]
  Federated Graph Learning (FGL)は、分類タスクのために複数のクライアントで協調的なトレーニングを可能にすることで、広く注目を集めている。 本研究では,エッジ・クライアント・コラボレーションにおける情報フローの促進を目的とした新しいFGLフレームワークSpreadFGLを提案する。 本研究では,SpreadFGLが最先端のアルゴリズムに対して精度が高く,より高速な収束を実現することを示す。
  論文  参考訳（メタデータ） (2024-07-14T09:34:19Z)
• FedDistill: Global Model Distillation for Local Model De-Biasing in Non-IID Federated Learning [10.641875933652647]
  フェデレートラーニング(FL)は、協調機械学習を可能にする新しいアプローチである。 FLは、クライアント間で均一に分散されていない(非ID)データのために、課題に直面します。 本稿では,グローバルモデルからローカルモデルへの知識伝達を促進するフレームワークであるFedDistillを紹介する。
  論文  参考訳（メタデータ） (2024-04-14T10:23:30Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Federated Skewed Label Learning with Logits Fusion [23.062650578266837]
  フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。 本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。 提案手法は最先端手法に比べて平均精度が13%高い。
  論文  参考訳（メタデータ） (2023-11-14T14:37:33Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• SphereFed: Hyperspherical Federated Learning [22.81101040608304]
  主な課題は、複数のクライアントにまたがる非i.i.d.データの処理である。 非i.d.問題に対処するために,超球面フェデレートラーニング(SphereFed)フレームワークを導入する。 ローカルデータに直接アクセスすることなく, キャリブレーションの解を効率的に, 分散的に計算できることを示す。
  論文  参考訳（メタデータ） (2022-07-19T17:13:06Z)
• FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction [48.85303253333453]
  フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。 局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。 私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。 実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
  論文  参考訳（メタデータ） (2022-03-22T14:06:26Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Data Selection for Efficient Model Update in Federated Learning [0.07614628596146598]
  本稿では,グローバルモデルのトレーニングに必要なローカルデータの量を削減することを提案する。 本手法では, 局所データの特徴により敏感な部分と, 一般特徴抽出のための下位部分と, 上位部分とにモデルを分割する。 実験の結果,クライアントデータの特徴をグローバルモデルに転送できる地域データは1%未満であることがわかった。
  論文  参考訳（メタデータ） (2021-11-05T14:07:06Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。