論文の概要: FedGT: Federated Node Classification with Scalable Graph Transformer
- arxiv url: http://arxiv.org/abs/2401.15203v1
- Date: Fri, 26 Jan 2024 21:02:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 19:22:47.095665
- Title: FedGT: Federated Node Classification with Scalable Graph Transformer
- Title（参考訳）: FedGT: スケーラブルグラフ変換器によるフェデレーションノード分類
- Authors: Zaixi Zhang, Qingyong Hu, Yang Yu, Weibo Gao, Qi Liu
- Abstract要約: 本稿では,スケーラブルな textbfFederated textbfGraph textbfTransformer (textbfFedGT) を提案する。
FedGTは、最適なトランスポートで整列したグローバルノードに基づいて、クライアントの類似性を計算する。
- 参考スコア（独自算出の注目度）: 27.50698154862779
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graphs are widely used to model relational data. As graphs are getting larger
and larger in real-world scenarios, there is a trend to store and compute
subgraphs in multiple local systems. For example, recently proposed
\emph{subgraph federated learning} methods train Graph Neural Networks (GNNs)
distributively on local subgraphs and aggregate GNN parameters with a central
server. However, existing methods have the following limitations: (1) The links
between local subgraphs are missing in subgraph federated learning. This could
severely damage the performance of GNNs that follow message-passing paradigms
to update node/edge features. (2) Most existing methods overlook the subgraph
heterogeneity issue, brought by subgraphs being from different parts of the
whole graph. To address the aforementioned challenges, we propose a scalable
\textbf{Fed}erated \textbf{G}raph \textbf{T}ransformer (\textbf{FedGT}) in the
paper. Firstly, we design a hybrid attention scheme to reduce the complexity of
the Graph Transformer to linear while ensuring a global receptive field with
theoretical bounds. Specifically, each node attends to the sampled local
neighbors and a set of curated global nodes to learn both local and global
information and be robust to missing links. The global nodes are dynamically
updated during training with an online clustering algorithm to capture the data
distribution of the corresponding local subgraph. Secondly, FedGT computes
clients' similarity based on the aligned global nodes with optimal transport.
The similarity is then used to perform weighted averaging for personalized
aggregation, which well addresses the data heterogeneity problem. Moreover,
local differential privacy is applied to further protect the privacy of
clients. Finally, extensive experimental results on 6 datasets and 2 subgraph
settings demonstrate the superiority of FedGT.
- Abstract（参考訳）: グラフはリレーショナルデータをモデル化するのに広く使われている。
グラフが現実のシナリオで大きくなるにつれて、複数のローカルシステムにサブグラフを格納し、計算する傾向にある。
例えば、最近提案された 'emph{subgraph Federated Learning} メソッドでは、ローカルサブグラフに分散的にグラフニューラルネットワーク(GNN)をトレーニングし、GNNパラメータを中央サーバで集約する。
しかし、既存の方法には以下の制限がある: (1) 局所部分グラフ間のリンクが欠落している部分グラフフェデレーション学習。
これはノード/エッジ機能を更新するためのメッセージパスパラダイムに従うGNNのパフォーマンスを著しく損なう可能性がある。
2) 既存の手法のほとんどは,グラフ全体の異なる部分から生じる部分グラフの不均質性問題を見落としている。
上記の課題に対処するため、本稿ではスケーラブルな \textbf{Fed}erated \textbf{G}raph \textbf{T}ransformer (\textbf{FedGT}) を提案する。
まず,理論境界を持つ大域的受容場を確保しつつ,グラフトランスフォーマの複雑性を線形に低減するハイブリッドアテンションスキームを設計する。
具体的には、各ノードは、サンプル化されたローカル隣人と、ローカルとグローバルの両方の情報を学習し、欠落したリンクに対して堅牢なグローバルノードのセットに出席する。
オンラインクラスタリングアルゴリズムを用いてトレーニング中にグローバルノードを動的に更新し、対応するローカルサブグラフのデータ分布をキャプチャする。
第二に、FedGTは最適なトランスポートで整列したグローバルノードに基づいてクライアントの類似性を計算する。
類似性は、パーソナライズされたアグリゲーションのために重み付け平均化を実行するために使われます。
さらに、ローカルディファレンシャルプライバシを適用して、クライアントのプライバシをさらに保護する。
最後に、6つのデータセットと2つのサブグラフ設定に関する広範な実験結果から、FedGTの優位性を示している。
関連論文リスト
- DA-MoE: Addressing Depth-Sensitivity in Graph-Level Analysis through Mixture of Experts [70.21017141742763]
グラフニューラルネットワーク(GNN)は、グラフ構造化データを処理することで人気を集めている。
既存のメソッドは通常、固定数のGNNレイヤを使用して、すべてのグラフの表現を生成する。
本稿では,GNNに2つの改良を加えたDA-MoE法を提案する。
論文 参考訳（メタデータ） (2024-11-05T11:46:27Z) - Federated Graph Learning with Structure Proxy Alignment [43.13100155569234]
Federated Graph Learning (FGL)は、複数のデータ所有者に分散されたグラフデータよりもグラフ学習モデルを学習することを目的としている。
我々はFedSprayを提案する。FedSprayは、潜伏空間における局所的なクラスワイド構造プロキシを学習する新しいFGLフレームワークである。
我々のゴールは、ノード分類のための信頼性が高く、偏りのない隣り合う情報として機能する、整列構造プロキシを得ることです。
論文 参考訳（メタデータ） (2024-08-18T07:32:54Z) - DPGAN: A Dual-Path Generative Adversarial Network for Missing Data Imputation in Graphs [17.847551850315895]
本稿では,DPGAN(Dual-Pathrative Adversarial Network)と呼ばれる新しいフレームワークを提案する。
DPGANは、欠落したデータと同時に処理し、過度にスムースな問題を回避することができる。
さまざまなベンチマークデータセットにわたる総合的な実験は、DPGANが既存の最先端の計算アルゴリズムよりも優れていなくても、一貫して競合していることを裏付けている。
論文 参考訳（メタデータ） (2024-04-26T05:26:10Z) - Chasing Fairness in Graphs: A GNN Architecture Perspective [73.43111851492593]
グラフニューラルネットワーク(GNN)の統一最適化フレームワーク内で設計されたtextsfFair textsfMessage textsfPassing(FMP)を提案する。
FMPでは、アグリゲーションがまず隣人の情報を活用するために採用され、バイアス軽減ステップにより、人口集団ノードのプレゼンテーションセンタが明示的に統合される。
ノード分類タスクの実験により、提案されたFMPは、実世界の3つのデータセットの公平性と正確性の観点から、いくつかのベースラインを上回っていることが示された。
論文 参考訳（メタデータ） (2023-12-19T18:00:15Z) - Fused Gromov-Wasserstein Graph Mixup for Graph-level Classifications [44.15102300886821]
我々はFGWMixupと呼ばれる新しいグラフ混合アルゴリズムを提案し、FGWMixupはFused Gromov-Wasserstein計量空間のソースグラフの中間点を求める。
5つのデータセットで行った実験により、FGWMixupはGNNの一般化性と堅牢性を効果的に改善することが示された。
論文 参考訳（メタデータ） (2023-06-28T07:00:12Z) - NodeFormer: A Scalable Graph Structure Learning Transformer for Node
Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。
効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。
グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文 参考訳（メタデータ） (2023-06-14T09:21:15Z) - Personalized Subgraph Federated Learning [56.52903162729729]
本稿では,新たなサブグラフFL問題,パーソナライズされたサブグラフFLを導入する。
本稿では,Federated Personalized sUBgraph Learning (FED-PUB)を提案する。
オーバーラップしないサブグラフとオーバーラップするサブグラフの両方を考慮して,FED-PUBのサブグラフFL性能を6つのデータセットで検証した。
論文 参考訳（メタデータ） (2022-06-21T09:02:53Z) - Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation [61.39364567221311]
グラフレベルの異常検出(GAD)は、その構造やノードの特徴に異常なグラフを検出する問題を記述している。
GADの課題の1つは、局所的および大域的非正則グラフの検出を可能にするグラフ表現を考案することである。
本稿では,グラフとノード表現の連成ランダム蒸留により,グローバルおよびローカルな正規パターン情報を豊富に学習するGADのための新しい深部異常検出手法を提案する。
論文 参考訳（メタデータ） (2021-12-19T05:04:53Z) - Imbalanced Graph Classification via Graph-of-Graph Neural Networks [16.589373163769853]
グラフニューラルネットワーク(GNN)は、グラフの分類ラベルを識別するグラフ表現の学習において、前例のない成功を収めている。
本稿では,グラフ不均衡問題を軽減する新しいフレームワークであるグラフ・オブ・グラフニューラルネットワーク(G$2$GNN)を提案する。
提案したG$2$GNNは,F1-macroとF1-microのスコアにおいて,多くのベースラインを約5%上回る性能を示した。
論文 参考訳（メタデータ） (2021-12-01T02:25:47Z) - Local Augmentation for Graph Neural Networks [78.48812244668017]
本稿では,局所的な部分グラフ構造によりノード特性を向上する局所拡張を提案する。
局所的な拡張に基づいて、プラグイン・アンド・プレイ方式で任意のGNNモデルに適用可能な、LA-GNNという新しいフレームワークをさらに設計する。
論文 参考訳（メタデータ） (2021-09-08T18:10:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。