論文の概要: Federated Learning on Non-IID Graphs via Structural Knowledge Sharing
- arxiv url: http://arxiv.org/abs/2211.13009v1
- Date: Wed, 23 Nov 2022 15:12:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 14:49:24.168906
- Title: Federated Learning on Non-IID Graphs via Structural Knowledge Sharing
- Title(参考訳): 構造的知識共有による非IIDグラフのフェデレーション学習
- Authors: Yue Tan, Yixin Liu, Guodong Long, Jing Jiang, Qinghua Lu, Chengqi
Zhang
- Abstract要約: フェデレーショングラフ学習(FGL)により、クライアントはプライベートデータを共有せずに、分散型で強力なGNNモデルをトレーニングできる。
我々はFedStarというFGLフレームワークを提案し、グラフ間学習タスクの共通基盤構造情報を抽出し、共有する。
クロスデータセットとクロスドメインのFGL設定の両方に対して広範な実験を行い、FedStarの優位性を実証した。
- 参考スコア(独自算出の注目度): 47.140441784462794
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks (GNNs) have shown their superiority in modeling graph
data. Owing to the advantages of federated learning, federated graph learning
(FGL) enables clients to train strong GNN models in a distributed manner
without sharing their private data. A core challenge in federated systems is
the non-IID problem, which also widely exists in real-world graph data. For
example, local data of clients may come from diverse datasets or even domains,
e.g., social networks and molecules, increasing the difficulty for FGL methods
to capture commonly shared knowledge and learn a generalized encoder. From
real-world graph datasets, we observe that some structural properties are
shared by various domains, presenting great potential for sharing structural
knowledge in FGL. Inspired by this, we propose FedStar, an FGL framework that
extracts and shares the common underlying structure information for inter-graph
federated learning tasks. To explicitly extract the structure information
rather than encoding them along with the node features, we define structure
embeddings and encode them with an independent structure encoder. Then, the
structure encoder is shared across clients while the feature-based knowledge is
learned in a personalized way, making FedStar capable of capturing more
structure-based domain-invariant information and avoiding feature misalignment
issues. We perform extensive experiments over both cross-dataset and
cross-domain non-IID FGL settings, demonstrating the superiority of FedStar.
- Abstract(参考訳): グラフニューラルネットワーク(gnns)は、グラフデータのモデリングにおいてその優位性を示している。
フェデレーション学習の利点により、フェデレーショングラフ学習(FGL)は、クライアントがプライベートデータを共有せずに、分散的に強力なGNNモデルをトレーニングすることができる。
連合系における中核的な課題は、実世界のグラフデータにも広く存在する非IID問題である。
例えば、クライアントのローカルデータは、さまざまなデータセットや、例えばソーシャルネットワークや分子といったドメインから来ることもあり、FGLメソッドが共通に共有される知識をキャプチャし、一般化されたエンコーダを学ぶのが困難になる。
実世界のグラフデータセットから、いくつかの構造的特性が様々な領域で共有され、FGLで構造的知識を共有する大きな可能性を示す。
そこで我々はFedStarを提案する。FedStarは、グラフ間フェデレーション学習タスクの共通基盤構造情報を抽出し、共有するFGLフレームワークである。
ノードの特徴とともにエンコードするのではなく、構造情報を明示的に抽出するために、構造埋め込みを定義し、独立した構造エンコーダでエンコードする。
次に、構造エンコーダをクライアント間で共有し、特徴ベースの知識をパーソナライズした方法で学習することにより、feedstarは構造ベースのドメイン不変情報をキャプチャし、特徴的不一致を回避することができる。
クロスデータセットとクロスドメイン非iidfgl設定の両方について広範な実験を行い、feedstarの優位性を実証した。
関連論文リスト
- Federated Graph Learning with Graphless Clients [52.5629887481768]
FGL(Federated Graph Learning)は、グラフニューラルネットワーク(GNN)などの機械学習モデルをトレーニングするタスクである。
グラフレスクライアントを用いたFGLにおける問題に対処するための新しいフレームワークFedGLSを提案する。
論文 参考訳(メタデータ) (2024-11-13T06:54:05Z) - FedSSP: Federated Graph Learning with Spectral Knowledge and Personalized Preference [31.796411806840087]
フェデレートされたグラフ学習(pFGL)は、プライバシーを損なうことなく、グラフニューラルネットワーク(GNN)の分散トレーニングを容易にする。
それまでのpFGLメソッドは、非ジェネリックな知識を全世界で誤って共有し、パーソナライズされたソリューションをローカルにカスタマイズできなかった。
提案するpFGLフレームワークであるFedSSPを提案する。
論文 参考訳(メタデータ) (2024-10-26T07:09:27Z) - Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。
提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。
これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
論文 参考訳(メタデータ) (2024-09-09T12:56:02Z) - Optimizing Federated Graph Learning with Inherent Structural Knowledge and Dual-Densely Connected GNNs [6.185201353691423]
Federated Graph Learning (FGL)は、クライアントがプライベートデータを公開することなく、強力なグラフニューラルネットワーク(GNN)を分散的にトレーニングすることを可能にする。
既存の手法は、グラフデータに固有の構造的知識を見落としているか、リソース要求を大幅に増加させるコストでそれをキャプチャする。
構造的知識の利用効率を最適化する新しいFGLフレームワークであるFedDenseを提案する。
論文 参考訳(メタデータ) (2024-08-21T14:37:50Z) - Federated Graph Learning with Structure Proxy Alignment [43.13100155569234]
Federated Graph Learning (FGL)は、複数のデータ所有者に分散されたグラフデータよりもグラフ学習モデルを学習することを目的としている。
我々はFedSprayを提案する。FedSprayは、潜伏空間における局所的なクラスワイド構造プロキシを学習する新しいFGLフレームワークである。
我々のゴールは、ノード分類のための信頼性が高く、偏りのない隣り合う情報として機能する、整列構造プロキシを得ることです。
論文 参考訳(メタデータ) (2024-08-18T07:32:54Z) - Decoupled Subgraph Federated Learning [57.588938805581044]
複数のクライアントに分散したグラフ構造化データに対するフェデレーション学習の課題に対処する。
我々は、このシナリオのための新しいフレームワーク、FedStructを紹介します。
半教師付きノード分類のための6つのデータセットを用いて実験結果を用いてFedStructの有効性を検証する。
論文 参考訳(メタデータ) (2024-02-29T13:47:23Z) - GraphEdit: Large Language Models for Graph Structure Learning [62.618818029177355]
グラフ構造学習(GSL)は、グラフ構造データ中のノード間の固有の依存関係と相互作用をキャプチャすることに焦点を当てている。
既存のGSL法は、監督信号として明示的なグラフ構造情報に大きく依存している。
グラフ構造化データの複雑なノード関係を学習するために,大規模言語モデル(LLM)を利用したグラフ編集を提案する。
論文 参考訳(メタデータ) (2024-02-23T08:29:42Z) - Lumos: Heterogeneity-aware Federated Graph Learning over Decentralized
Devices [19.27111697495379]
グラフニューラルネットワーク(GNN)は、現実世界のネットワークアプリケーションやシステムに広くデプロイされている。
本稿では,教師付き学習と教師なし学習をサポートするLumosという,初の連合型GNNフレームワークを提案する。
クライアント毎に構築したツリーに基づいて,多目的学習を支援するために,分散型ツリーベースGNNトレーナーを提案する。
論文 参考訳(メタデータ) (2023-03-01T13:27:06Z) - Privatized Graph Federated Learning [57.14673504239551]
グラフによって連結された複数の単位からなるグラフフェデレーション学習を導入する。
グラフ準同型摂動はアルゴリズムが微分プライベートであることを保証するためにどのように使用できるかを示す。
論文 参考訳(メタデータ) (2022-03-14T13:48:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。