Fugu-MT 論文翻訳(概要): FedTAD: Topology-aware Data-free Knowledge Distillation for Subgraph Federated Learning

論文の概要: FedTAD: Topology-aware Data-free Knowledge Distillation for Subgraph Federated Learning

arxiv url: http://arxiv.org/abs/2404.14061v1
Date: Mon, 22 Apr 2024 10:19:02 GMT
ステータス: 処理完了
システム内更新日: 2024-04-23 14:16:24.012470
Title: FedTAD: Topology-aware Data-free Knowledge Distillation for Subgraph Federated Learning
Title（参考訳）: FedTAD:グラフフェデレーション学習のためのトポロジ対応データフリー知識蒸留
Authors: Yinlin Zhu, Xunkai Li, Zhengyu Wu, Di Wu, Miao Hu, Rong-Hua Li,
Abstract要約: サブグラフフェデレートラーニング(Subgraph Federated Learning, Subgraph-FL)は、マルチクライアントサブグラフによるグラフニューラルネットワーク(GNN)の協調トレーニングを容易にする。ノードとトポロジの変化は、複数のローカルGNNのクラスレベルの知識信頼性に大きな違いをもたらす。本研究では,局所モデルからグローバルモデルへの信頼性の高い知識伝達を促進するために,トポロジ対応データフリーな知識蒸留技術(FedTAD)を提案する。
参考スコア（独自算出の注目度）: 12.834423184614849
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Subgraph federated learning (subgraph-FL) is a new distributed paradigm that facilitates the collaborative training of graph neural networks (GNNs) by multi-client subgraphs. Unfortunately, a significant challenge of subgraph-FL arises from subgraph heterogeneity, which stems from node and topology variation, causing the impaired performance of the global GNN. Despite various studies, they have not yet thoroughly investigated the impact mechanism of subgraph heterogeneity. To this end, we decouple node and topology variation, revealing that they correspond to differences in label distribution and structure homophily. Remarkably, these variations lead to significant differences in the class-wise knowledge reliability of multiple local GNNs, misguiding the model aggregation with varying degrees. Building on this insight, we propose topology-aware data-free knowledge distillation technology (FedTAD), enhancing reliable knowledge transfer from the local model to the global model. Extensive experiments on six public datasets consistently demonstrate the superiority of FedTAD over state-of-the-art baselines.
Abstract（参考訳）: サブグラフフェデレーション学習(Subgraph Federated Learning, Subgraph-FL)は、グラフニューラルネットワーク(GNN)の多目的サブグラフによる協調トレーニングを容易にする新しい分散パラダイムである。残念ながら、サブグラフFLの重大な課題は、ノードとトポロジの変動に起因するサブグラフの不均一性から生じ、グローバルGNNの性能を損なう。様々な研究にもかかわらず、彼らはまだサブグラフの不均一性の影響メカニズムを徹底的に研究していない。この目的のために、ノードとトポロジのばらつきを分離し、ラベル分布と構造ホモフィリーの違いに対応することを示した。注目すべきは、これらのバリエーションは、複数の局所的なGNNのクラスレベルでの知識信頼性に大きな違いをもたらし、モデルの集約を様々な程度に誤解させる。この知見に基づいて,局所モデルからグローバルモデルへの信頼性の高い知識伝達を向上するトポロジ対応データフリーな知識蒸留技術 (FedTAD) を提案する。 6つの公開データセットに対する大規模な実験は、最先端のベースラインよりもFedTADの方が優れていることを一貫して示している。

関連論文リスト

DeCaf: A Causal Decoupling Framework for OOD Generalization on Node Classification [14.96980804513399]
グラフニューラルネットワーク(GNN)は、分散シフトの影響を受けやすいため、クリティカルドメインの脆弱性やセキュリティ上の問題が発生する。不変(機能、構造)-ラベルマッピングの学習を目標とする既存の方法は、データ生成プロセスに関する過度に単純化された仮定に依存することが多い。構造因果モデル(SCM)を用いたより現実的なグラフデータ生成モデルを提案する。本稿では,非バイアスな特徴ラベルと構造ラベルのマッピングを独立に学習する,カジュアルなデカップリングフレームワークDeCafを提案する。
論文参考訳（メタデータ） (2024-10-27T00:22:18Z)
The Heterophilic Graph Learning Handbook: Benchmarks, Models, Theoretical Analysis, Applications and Challenges [101.83124435649358]
ホモフィリ原理では、同じラベルや類似属性を持つieノードが接続される可能性が高い。最近の研究で、GNNのパフォーマンスとNNのパフォーマンスが満足できない非自明なデータセットが特定されている。
論文参考訳（メタデータ） (2024-07-12T18:04:32Z)
Federated Learning with Limited Node Labels [3.738399857803053]
サブグラフ・フェデレーション・ラーニング(Subgraph Federated Learning, SFL)は, 研究手法として注目されている。我々は,クロスサブグラフノード表現の学習を目的とした,FedMpaという新しいSFLフレームワークを提案する。 6つのグラフデータセットに対する実験により,FedMpaはノード分類において極めて有効であることが示された。
論文参考訳（メタデータ） (2024-06-18T09:30:10Z)
DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。 BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
論文参考訳（メタデータ） (2024-06-04T07:24:51Z)
Heterophilous Distribution Propagation for Graph Neural Networks [23.897535976924722]
グラフニューラルネットワークのための異種分布伝播(HDP)を提案する。すべての近隣から情報を集約する代わりに、HDPは隣人をホモ親和性および不テロ親和性の部分に適応的に分離する。我々は、異なるレベルのホモフィリーを持つ9つのベンチマークデータセットに対して広範な実験を行う。
論文参考訳（メタデータ） (2024-05-31T06:40:56Z)
AdaFGL: A New Paradigm for Federated Node Classification with Topology Heterogeneity [44.11777886421429]
Federated Graph Learning (FGL) はグラフニューラルネットワークに基づく分散フレームワークとして注目されている。構造的非イド分割の概念を導入し、次に、UnderlineAdaptive UnderlineFederated UnderlineGraph UnderlineLearning (AdaFGL)と呼ばれる新しいパラダイムを示す。提案したAdaFGLは,コミュニティ分割の3.24%,コミュニティ分割の5.57%,非イド分割の5.57%でベースラインを上回った。
論文参考訳（メタデータ） (2024-01-22T08:23:31Z)
Few-Shot Causal Representation Learning for Out-of-Distribution Generalization on Heterogeneous Graphs [16.130356170284127]
ヘテロジニアスグラフ(HGs)におけるラベル空間性問題に対処するヘテロジニアスグラフスショットラーニング(HGFL)が開発されている。本稿では,新しい因果OOD不均質グラフFew-shot学習モデル,すなわちCOHFを提案する。
論文参考訳（メタデータ） (2024-01-07T22:47:38Z)
Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
論文参考訳（メタデータ） (2023-05-29T04:51:09Z)
Position-aware Structure Learning for Graph Topology-imbalance by Relieving Under-reaching and Over-squashing [67.83086131278904]
トポロジー不均衡は、ラベル付きノードの不均一なトポロジー位置によって引き起こされるグラフ固有の不均衡問題である。 PASTEL という新しい位置認識型グラフ構造学習フレームワークを提案する。私たちの重要な洞察は、より監督的な情報を得るために、同じクラス内のノードの接続性を高めることです。
論文参考訳（メタデータ） (2022-08-17T14:04:21Z)
Handling Distribution Shifts on Graphs: An Invariance Perspective [78.31180235269035]
我々は、グラフ上のOOD問題を定式化し、新しい不変学習手法である探索・拡張リスク最小化(EERM)を開発する。 EERMは、複数の仮想環境からのリスクの分散を最大化するために、敵対的に訓練された複数のコンテキストエクスプローラーを利用する。理論的に有効なOOD解の保証を示すことによって,本手法の有効性を実証する。
論文参考訳（メタデータ） (2022-02-05T02:31:01Z)
Cyclic Label Propagation for Graph Semi-supervised Learning [52.102251202186025]
本稿では,CycPropと呼ばれるグラフ半教師付き学習のための新しいフレームワークを提案する。 CycPropはGNNを周期的かつ相互に強化された方法でラベル伝播の過程に統合する。特に,提案するCycPropでは,GNNモジュールが学習したノード埋め込みをラベル伝搬による拡張情報で更新する。
論文参考訳（メタデータ） (2020-11-24T02:55:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。