論文の概要: PPSGCN: A Privacy-Preserving Subgraph Sampling Based Distributed GCN
Training Method
- arxiv url: http://arxiv.org/abs/2110.12906v1
- Date: Fri, 22 Oct 2021 08:22:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-26 15:12:17.008174
- Title: PPSGCN: A Privacy-Preserving Subgraph Sampling Based Distributed GCN
Training Method
- Title(参考訳): PPSGCN: プライバシ保護サブグラフサンプリングに基づく分散GCNトレーニング手法
- Authors: Binchi Zhang, Minnan Luo, Shangbin Feng, Ziqi Liu, Jun Zhou, Qinghua
Zheng
- Abstract要約: グラフ畳み込みネットワーク(GCN)はグラフ表現学習に広く採用されており、優れた性能を実現している。
既存のメソッドは、ノード機能を異なるクライアント間で直接交換する。
本稿では,プライバシ保護サブグラフサンプリングに基づく分散GCNトレーニング手法(PPSGCN)を提案する。
- 参考スコア(独自算出の注目度): 28.829761038950707
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph convolutional networks (GCNs) have been widely adopted for graph
representation learning and achieved impressive performance. For larger graphs
stored separately on different clients, distributed GCN training algorithms
were proposed to improve efficiency and scalability. However, existing methods
directly exchange node features between different clients, which results in
data privacy leakage. Federated learning was incorporated in graph learning to
tackle data privacy, while they suffer from severe performance drop due to
non-iid data distribution. Besides, these approaches generally involve heavy
communication and memory overhead during the training process. In light of
these problems, we propose a Privacy-Preserving Subgraph sampling based
distributed GCN training method (PPSGCN), which preserves data privacy and
significantly cuts back on communication and memory overhead. Specifically,
PPSGCN employs a star-topology client-server system. We firstly sample a local
node subset in each client to form a global subgraph, which greatly reduces
communication and memory costs. We then conduct local computation on each
client with features or gradients of the sampled nodes. Finally, all clients
securely communicate with the central server with homomorphic encryption to
combine local results while preserving data privacy. Compared with federated
graph learning methods, our PPSGCN model is trained on a global graph to avoid
the negative impact of local data distribution. We prove that our PPSGCN
algorithm would converge to a local optimum with probability 1. Experiment
results on three prevalent benchmarks demonstrate that our algorithm
significantly reduces communication and memory overhead while maintaining
desirable performance. Further studies not only demonstrate the fast
convergence of PPSGCN, but discuss the trade-off between communication and
local computation cost as well.
- Abstract(参考訳): グラフ畳み込みネットワーク(GCN)はグラフ表現学習に広く採用されており、優れた性能を実現している。
異なるクライアントに個別に格納される大きなグラフに対して、効率とスケーラビリティを改善するために分散GCNトレーニングアルゴリズムが提案された。
しかし、既存のメソッドは異なるクライアント間でノード機能を直接交換するので、データのプライバシリークが発生する。
フェデレーション学習は、データプライバシに取り組むためにグラフ学習に取り入れられたが、非iidデータ分散によるパフォーマンス低下に苦しんだ。
さらに、これらのアプローチは一般的に、トレーニングプロセス中に大量の通信とメモリオーバーヘッドを伴います。
これらの問題を考慮し,プライバシ保護サブグラフサンプリングに基づく分散GCNトレーニング手法(PPSGCN)を提案する。
具体的には、PSGCNはスタートポロジークライアントサーバシステムを採用している。
まず、各クライアントのローカルノードサブセットをサンプリングし、グローバルサブグラフを作成し、通信とメモリコストを大幅に削減する。
次に、サンプルノードの機能や勾配で各クライアント上でローカル計算を行います。
最後に、すべてのクライアントは、データプライバシを保持しながら、ローカル結果を組み合わせるために、同型暗号化で中央サーバとセキュアに通信する。
フェデレーショングラフ学習法と比較すると,ppsgcnモデルは局所データ分布の負の影響を避けるために,グローバルグラフ上でトレーニングされる。
我々は PPSGCN アルゴリズムが確率 1 の局所最適値に収束することを証明した。
3つのベンチマーク実験の結果,提案アルゴリズムは良好な性能を維持しつつ,通信とメモリオーバーヘッドを大幅に低減することが示された。
さらなる研究はPSGCNの高速収束を実証するだけでなく、通信と局所計算コストのトレードオフについても論じている。
関連論文リスト
- FedLPA: Personalized One-shot Federated Learning with Layer-Wise
Posterior Aggregation [7.406222956685339]
ローカルクライアントからグローバルモデルへのトレーニングされたニューラルネットワークのワンショットアグリゲーションは、研究者の間で人気を集めている。
我々はFedLPAという名前のレイヤーワイズ後アグリゲーションを用いたワンショットアグリゲーション手法を提案する。
以上の結果から,FedLPAは最先端の手法よりも学習性能を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2023-09-30T10:51:27Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Distributed Learning over Networks with Graph-Attention-Based
Personalization [49.90052709285814]
分散ディープラーニングのためのグラフベースパーソナライズアルゴリズム(GATTA)を提案する。
特に、各エージェントのパーソナライズされたモデルは、グローバルな部分とノード固有の部分で構成される。
グラフ内の各エージェントを1つのノードとして扱うことにより、ノード固有のパラメータを特徴として扱うことにより、グラフアテンション機構の利点を継承することができる。
論文 参考訳(メタデータ) (2023-05-22T13:48:30Z) - Personalized Subgraph Federated Learning [56.52903162729729]
本稿では,新たなサブグラフFL問題,パーソナライズされたサブグラフFLを導入する。
本稿では,Federated Personalized sUBgraph Learning (FED-PUB)を提案する。
オーバーラップしないサブグラフとオーバーラップするサブグラフの両方を考慮して,FED-PUBのサブグラフFL性能を6つのデータセットで検証した。
論文 参考訳(メタデータ) (2022-06-21T09:02:53Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - FedGCN: Convergence-Communication Tradeoffs in Federated Training of
Graph Convolutional Networks [14.824579000821272]
我々はフェデレートグラフ畳み込みネットワーク(FedGCN)アルゴリズムを導入し、フェデレーション学習を用いてGCNモデルを訓練し、半教師付きノード分類を行う。
各トレーニングラウンドでクライアント間の余分な通信を必要とする従来の方法と比較して、FedGCNクライアントはトレーニング前の1ステップで中央サーバとのみ通信する。
実験の結果,FedGCNアルゴリズムは平均収束率51.7%,通信速度100倍の精度でモデル精度が向上した。
論文 参考訳(メタデータ) (2022-01-28T21:39:16Z) - Local Augmentation for Graph Neural Networks [78.48812244668017]
本稿では,局所的な部分グラフ構造によりノード特性を向上する局所拡張を提案する。
局所的な拡張に基づいて、プラグイン・アンド・プレイ方式で任意のGNNモデルに適用可能な、LA-GNNという新しいフレームワークをさらに設計する。
論文 参考訳(メタデータ) (2021-09-08T18:10:08Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳(メタデータ) (2021-02-14T05:36:25Z) - Communication-Efficient Sampling for Distributed Training of Graph
Convolutional Networks [3.075766050800645]
隣のノードからデータを集約する必要があるため、トレーニンググラフ畳み込みネットワーク(GCN)は高価です。
先行研究では,少数の隣人を対象に,収集結果を推定する様々な近傍サンプリング手法が提案されている。
本稿では, 局所サンプリング確率を判定し, スクイード隣りのサンプリングがトレーニングの収束度に大きく影響しないことを確かめるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-01-19T16:12:44Z) - Privacy Amplification by Decentralization [0.0]
我々は,完全分散プロトコルに自然発生する,新たなldp(local differential privacy)緩和を提案する。
本研究では,トークンがネットワークグラフ上でウォークを実行し,受信者によって順次更新される分散計算モデルについて検討する。
アルゴリズムのプライバシとユーティリティのトレードオフがLDPを大幅に改善し、信頼/安全アグリゲーションとシャッフルに基づく方法で達成できるものと一致していることを証明しています。
論文 参考訳(メタデータ) (2020-12-09T21:33:33Z) - Locally Private Graph Neural Networks [12.473486843211573]
ノードデータプライバシ(ノードデータプライバシ)の問題として,グラフノードが機密性の高いデータをプライベートに保持する可能性について検討する。
我々は、正式なプライバシー保証を備えたプライバシー保護アーキテクチャに依存しないGNN学習アルゴリズムを開発した。
実世界のデータセット上で行った実験は、我々の手法が低プライバシー損失で満足度の高い精度を維持することができることを示した。
論文 参考訳(メタデータ) (2020-06-09T22:36:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。