論文の概要: Lumos: Heterogeneity-aware Federated Graph Learning over Decentralized
Devices
- arxiv url: http://arxiv.org/abs/2303.00492v2
- Date: Tue, 3 Oct 2023 14:55:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 10:51:08.740215
- Title: Lumos: Heterogeneity-aware Federated Graph Learning over Decentralized
Devices
- Title（参考訳）: Lumos: 分散デバイス上でのフェデレーショングラフ学習
- Authors: Qiying Pan, Yifei Zhu, Lingyang Chu
- Abstract要約: グラフニューラルネットワーク(GNN)は、現実世界のネットワークアプリケーションやシステムに広くデプロイされている。
本稿では,教師付き学習と教師なし学習をサポートするLumosという,初の連合型GNNフレームワークを提案する。
クライアント毎に構築したツリーに基づいて,多目的学習を支援するために,分散型ツリーベースGNNトレーナーを提案する。
- 参考スコア（独自算出の注目度）: 19.27111697495379
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Graph neural networks (GNN) have been widely deployed in real-world networked
applications and systems due to their capability to handle graph-structured
data. However, the growing awareness of data privacy severely challenges the
traditional centralized model training paradigm, where a server holds all the
graph information. Federated learning is an emerging collaborative computing
paradigm that allows model training without data centralization. Existing
federated GNN studies mainly focus on systems where clients hold distinctive
graphs or sub-graphs. The practical node-level federated situation, where each
client is only aware of its direct neighbors, has yet to be studied. In this
paper, we propose the first federated GNN framework called Lumos that supports
supervised and unsupervised learning with feature and degree protection on
node-level federated graphs. We first design a tree constructor to improve the
representation capability given the limited structural information. We further
present a Monte Carlo Markov Chain-based algorithm to mitigate the workload
imbalance caused by degree heterogeneity with theoretically-guaranteed
performance. Based on the constructed tree for each client, a decentralized
tree-based GNN trainer is proposed to support versatile training. Extensive
experiments demonstrate that Lumos outperforms the baseline with significantly
higher accuracy and greatly reduced communication cost and training time.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造化データを扱う能力のため、現実世界のネットワークアプリケーションやシステムに広くデプロイされている。
しかし、データプライバシに対する認識の高まりは、サーバがすべてのグラフ情報を保持している従来の集中型モデルトレーニングパラダイムに大きく挑戦する。
フェデレートラーニング(Federated Learning)は、データ集中化のないモデルトレーニングを可能にする、新たなコラボレーティブコンピューティングパラダイムである。
既存のGNN研究は主にクライアントが固有のグラフやサブグラフを保持するシステムに焦点を当てている。
各クライアントが直接の隣人だけを意識している実際のノードレベルの連合状況についてはまだ研究されていない。
本稿では,ノードレベルのフェデレーショングラフにおける特徴と次数保護を備えた教師あり教師なし学習を支援するLumosという,最初のフェデレーションGNNフレームワークを提案する。
まず,限られた構造情報から表現能力を向上させるために木コンストラクタを設計する。
さらに,モンテカルロ・マルコフ・チェインに基づくアルゴリズムを用いて,理論的に保証された性能の次不均一性に起因する負荷の不均衡を緩和する。
クライアント毎に構築したツリーに基づいて,多用途トレーニングをサポートする分散型木ベースgnnトレーナーを提案する。
広範な実験により、lumosがベースラインをはるかに高い精度で上回り、通信コストとトレーニング時間を大幅に削減できることが示されている。
関連論文リスト
- Graph as a feature: improving node classification with non-neural graph-aware logistic regression [2.952177779219163]
Graph-aware Logistic Regression (GLR) はノード分類タスク用に設計された非神経モデルである。
GNNにアクセスできる情報のごく一部しか使わない従来のグラフアルゴリズムとは異なり、提案モデルではノードの特徴とエンティティ間の関係を同時に活用する。
論文 参考訳（メタデータ） (2024-11-19T08:32:14Z) - Deep Contrastive Graph Learning with Clustering-Oriented Guidance [61.103996105756394]
グラフ畳み込みネットワーク(GCN)は、グラフベースのクラスタリングを改善する上で大きな可能性を秘めている。
モデルはGCNを適用するために初期グラフを事前に推定する。
一般的なデータクラスタリングには,Deep Contrastive Graph Learning (DCGL)モデルが提案されている。
論文 参考訳（メタデータ） (2024-02-25T07:03:37Z) - Cooperative Network Learning for Large-Scale and Decentralized Graphs [7.628975821850447]
協調ネットワーク学習(CNL)フレームワークを導入し,グラフタスクに対するセキュアなグラフ計算を実現する。
CNLは、GNNコンピューティングのローカルおよびグローバルな視点と、エージェンシーのための分散データを統合する。
このフレームワークは、グラフ関連の研究におけるプライバシー問題に対処し、分散化されたグラフデータ構造を統合することを願っている。
論文 参考訳（メタデータ） (2023-11-03T02:56:01Z) - Privacy-preserving design of graph neural networks with applications to
vertical federated learning [56.74455367682945]
VESPERと呼ばれるエンドツーエンドのグラフ表現学習フレームワークを提案する。
VESPERは、適切なプライバシー予算の下でスパースグラフと密度グラフの両方で高性能なGNNモデルをトレーニングすることができる。
論文 参考訳（メタデータ） (2023-10-31T15:34:59Z) - MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。
我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
論文 参考訳（メタデータ） (2022-08-21T15:12:08Z) - Privatized Graph Federated Learning [57.14673504239551]
グラフによって連結された複数の単位からなるグラフフェデレーション学習を導入する。
グラフ準同型摂動はアルゴリズムが微分プライベートであることを保証するためにどのように使用できるかを示す。
論文 参考訳（メタデータ） (2022-03-14T13:48:23Z) - Privacy-Preserving Graph Neural Network Training and Inference as a
Cloud Service [15.939214141337803]
SecGNNは、軽量暗号と機械学習技術に関する洞察の相乗効果から構築されている。
SecGNNは、ほぼ手頃な性能で、同等のトレーニングと推論の精度を達成できることを示す。
論文 参考訳（メタデータ） (2022-02-16T02:57:10Z) - ROD: Reception-aware Online Distillation for Sparse Graphs [23.55530524584572]
疎グラフ学習のための新しいレセプション対応オンライン知識蒸留手法 ROD を提案する。
RODのための3つの監視信号: マルチスケールの受信対応グラフ知識、タスクベース監視、豊富な蒸留知識。
我々のアプローチは9つのデータセットと様々なグラフベースのタスクで広く評価されている。
論文 参考訳（メタデータ） (2021-07-25T11:55:47Z) - SpreadGNN: Serverless Multi-task Federated Learning for Graph Neural
Networks [13.965982814292971]
グラフニューラルネットワーク(GNN)は、グラフ機械学習問題の第一選択方法である。
GNNトレーニングのための大量の実世界のグラフデータを集中させることは、ユーザ側のプライバシー上の懸念から禁じられている。
本研究では,新しいマルチタスク・フェデレーション・トレーニング・フレームワークであるSpreadGNNを提案する。
論文 参考訳（メタデータ） (2021-06-04T22:20:47Z) - Graph Information Bottleneck [77.21967740646784]
グラフニューラルネットワーク(GNN)は、ネットワーク構造とノード機能から情報を融合する表現的な方法を提供する。
GIBは、一般的なInformation Bottleneck (IB) を継承し、与えられたタスクに対する最小限の表現を学習することを目的としている。
提案したモデルが最先端のグラフ防御モデルよりも堅牢であることを示す。
論文 参考訳（メタデータ） (2020-10-24T07:13:00Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-06-17T16:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。