論文の概要: FedTAD: Topology-aware Data-free Knowledge Distillation for Subgraph Federated Learning
- arxiv url: http://arxiv.org/abs/2404.14061v2
- Date: Thu, 25 Apr 2024 06:40:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 12:31:48.780916
- Title: FedTAD: Topology-aware Data-free Knowledge Distillation for Subgraph Federated Learning
- Title(参考訳): FedTAD:グラフフェデレーション学習のためのトポロジ対応データフリー知識蒸留
- Authors: Yinlin Zhu, Xunkai Li, Zhengyu Wu, Di Wu, Miao Hu, Rong-Hua Li,
- Abstract要約: サブグラフフェデレートラーニング(Subgraph Federated Learning, Subgraph-FL)は、マルチクライアントサブグラフによるグラフニューラルネットワーク(GNN)の協調トレーニングを容易にする。
ノードとトポロジの変化は、複数のローカルGNNのクラスレベルの知識信頼性に大きな違いをもたらす。
本研究では,局所モデルからグローバルモデルへの信頼性の高い知識伝達を促進するために,トポロジ対応データフリーな知識蒸留技術(FedTAD)を提案する。
- 参考スコア(独自算出の注目度): 12.834423184614849
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Subgraph federated learning (subgraph-FL) is a new distributed paradigm that facilitates the collaborative training of graph neural networks (GNNs) by multi-client subgraphs. Unfortunately, a significant challenge of subgraph-FL arises from subgraph heterogeneity, which stems from node and topology variation, causing the impaired performance of the global GNN. Despite various studies, they have not yet thoroughly investigated the impact mechanism of subgraph heterogeneity. To this end, we decouple node and topology variation, revealing that they correspond to differences in label distribution and structure homophily. Remarkably, these variations lead to significant differences in the class-wise knowledge reliability of multiple local GNNs, misguiding the model aggregation with varying degrees. Building on this insight, we propose topology-aware data-free knowledge distillation technology (FedTAD), enhancing reliable knowledge transfer from the local model to the global model. Extensive experiments on six public datasets consistently demonstrate the superiority of FedTAD over state-of-the-art baselines.
- Abstract(参考訳): サブグラフフェデレーション学習(Subgraph Federated Learning, Subgraph-FL)は、グラフニューラルネットワーク(GNN)の多目的サブグラフによる協調トレーニングを容易にする新しい分散パラダイムである。
残念ながら、サブグラフFLの重大な課題は、ノードとトポロジの変動に起因するサブグラフの不均一性から生じ、グローバルGNNの性能を損なう。
様々な研究にもかかわらず、彼らはまだサブグラフの不均一性の影響メカニズムを徹底的に研究していない。
この目的のために、ノードとトポロジのばらつきを分離し、ラベル分布と構造ホモフィリーの違いに対応することを示した。
注目すべきは、これらのバリエーションは、複数の局所的なGNNのクラスレベルでの知識信頼性に大きな違いをもたらし、モデルの集約を様々な程度に誤解させる。
この知見に基づいて,局所モデルからグローバルモデルへの信頼性の高い知識伝達を向上するトポロジ対応データフリーな知識蒸留技術 (FedTAD) を提案する。
6つの公開データセットに対する大規模な実験は、最先端のベースラインよりもFedTADの方が優れていることを一貫して示している。
関連論文リスト
- AdaFGL: A New Paradigm for Federated Node Classification with Topology
Heterogeneity [44.11777886421429]
Federated Graph Learning (FGL) はグラフニューラルネットワークに基づく分散フレームワークとして注目されている。
構造的非イド分割の概念を導入し、次に、UnderlineAdaptive UnderlineFederated UnderlineGraph UnderlineLearning (AdaFGL)と呼ばれる新しいパラダイムを示す。
提案したAdaFGLは,コミュニティ分割の3.24%,コミュニティ分割の5.57%,非イド分割の5.57%でベースラインを上回った。
論文 参考訳(メタデータ) (2024-01-22T08:23:31Z) - Few-Shot Causal Representation Learning for Out-of-Distribution Generalization on Heterogeneous Graphs [16.130356170284127]
ヘテロジニアスグラフ(HGs)におけるラベル空間性問題に対処するヘテロジニアスグラフスショットラーニング(HGFL)が開発されている。
本稿では,新しい因果OOD不均質グラフFew-shot学習モデル,すなわちCOHFを提案する。
論文 参考訳(メタデータ) (2024-01-07T22:47:38Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳(メタデータ) (2023-09-26T13:09:43Z) - MixupExplainer: Generalizing Explanations for Graph Neural Networks with
Data Augmentation [6.307753856507624]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習する能力によって、注目を集めている。
GNN予測を理解するために、ポストホックなインスタンスレベルの説明法が提案されている。
我々は,既存手法における分布シフト問題の存在に光を当て,説明の質に影響を及ぼす。
論文 参考訳(メタデータ) (2023-07-15T15:46:38Z) - Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。
非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
論文 参考訳(メタデータ) (2023-05-29T04:51:09Z) - Deep Graph Neural Networks via Flexible Subgraph Aggregation [50.034313206471694]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習し、近隣情報を集約することでノードの表現を学ぶ。
本稿では,サブグラフアグリゲーションの観点から,GNNの表現力を評価する。
サブグラフアグリゲーションの異なるホップをより柔軟に活用できるサンプリングベースノードレベル残余モジュール(SNR)を提案する。
論文 参考訳(メタデータ) (2023-05-09T12:03:42Z) - Position-aware Structure Learning for Graph Topology-imbalance by
Relieving Under-reaching and Over-squashing [67.83086131278904]
トポロジー不均衡は、ラベル付きノードの不均一なトポロジー位置によって引き起こされるグラフ固有の不均衡問題である。
PASTEL という新しい位置認識型グラフ構造学習フレームワークを提案する。
私たちの重要な洞察は、より監督的な情報を得るために、同じクラス内のノードの接続性を高めることです。
論文 参考訳(メタデータ) (2022-08-17T14:04:21Z) - Ordered Subgraph Aggregation Networks [19.18478955240166]
グラフ強化グラフニューラルネットワーク(GNN)が登場し、標準(メッセージパス)GNNの表現力を確実に向上させている。
本稿では, 理論的枠組みを導入し, サブグラフ強化GNNの表現性を拡張した。
部分グラフサイズの増加は常に表現力を高め、それらの制限をよりよく理解することを示します。
論文 参考訳(メタデータ) (2022-06-22T15:19:34Z) - Handling Distribution Shifts on Graphs: An Invariance Perspective [77.14319095965058]
グラフ上のノードレベルの予測にOOD問題を定式化する。
そこで我々は,探索から抽出までのリスク最小化という新たなドメイン不変学習手法を開発した。
理論的に有効なOOD解の保証を示すことによって,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2022-02-05T02:31:01Z) - Tree Decomposed Graph Neural Network [11.524511007436791]
本研究では,異なる階層の近傍を乱して特徴の平滑化を緩和する木分解法を提案する。
また、木分解定式化におけるグラフ拡散によるマルチホップ依存性を特徴付け、木分解グラフニューラルネットワーク(TDGNN)を構築する。
総合的な実験は、ホモフィリーネットワークとヘテロフィリーネットワークの両方において、TDGNNの優れた性能を示す。
論文 参考訳(メタデータ) (2021-08-25T02:47:16Z) - Cyclic Label Propagation for Graph Semi-supervised Learning [52.102251202186025]
本稿では,CycPropと呼ばれるグラフ半教師付き学習のための新しいフレームワークを提案する。
CycPropはGNNを周期的かつ相互に強化された方法でラベル伝播の過程に統合する。
特に,提案するCycPropでは,GNNモジュールが学習したノード埋め込みをラベル伝搬による拡張情報で更新する。
論文 参考訳(メタデータ) (2020-11-24T02:55:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。