論文の概要: Optimizing Federated Graph Learning with Inherent Structural Knowledge and Dual-Densely Connected GNNs
- arxiv url: http://arxiv.org/abs/2408.11662v1
- Date: Wed, 21 Aug 2024 14:37:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-22 16:37:45.660519
- Title: Optimizing Federated Graph Learning with Inherent Structural Knowledge and Dual-Densely Connected GNNs
- Title（参考訳）: 固有構造知識と2次元連結GNNによるフェデレーショングラフ学習の最適化
- Authors: Longwen Wang, Jianchun Liu, Zhi Liu, Jinyang Huang,
- Abstract要約: Federated Graph Learning (FGL)は、クライアントがプライベートデータを公開することなく、強力なグラフニューラルネットワーク(GNN)を分散的にトレーニングすることを可能にする。
既存の手法は、グラフデータに固有の構造的知識を見落としているか、リソース要求を大幅に増加させるコストでそれをキャプチャする。
構造的知識の利用効率を最適化する新しいFGLフレームワークであるFedDenseを提案する。
- 参考スコア（独自算出の注目度）: 6.185201353691423
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Graph Learning (FGL) is an emerging technology that enables clients to collaboratively train powerful Graph Neural Networks (GNNs) in a distributed manner without exposing their private data. Nevertheless, FGL still faces the challenge of the severe non-Independent and Identically Distributed (non-IID) nature of graphs, which possess diverse node and edge structures, especially across varied domains. Thus, exploring the knowledge inherent in these structures becomes significantly crucial. Existing methods, however, either overlook the inherent structural knowledge in graph data or capture it at the cost of significantly increased resource demands (e.g., FLOPs and communication bandwidth), which can be detrimental to distributed paradigms. Inspired by this, we propose FedDense, a novel FGL framework that optimizes the utilization efficiency of inherent structural knowledge. To better acquire knowledge of diverse and underexploited structures, FedDense first explicitly encodes the structural knowledge inherent within graph data itself alongside node features. Besides, FedDense introduces a Dual-Densely Connected (DDC) GNN architecture that exploits the multi-scale (i.e., one-hop to multi-hop) feature and structure insights embedded in the aggregated feature maps at each layer. In addition to the exploitation of inherent structures, we consider resource limitations in FGL, devising exceedingly narrow layers atop the DDC architecture and adopting a selective parameter sharing strategy to reduce resource costs substantially. We conduct extensive experiments using 15 datasets across 4 different domains, demonstrating that FedDense consistently surpasses baselines by a large margin in training performance, while demanding minimal resources.
- Abstract（参考訳）: Federated Graph Learning(FGL)は、クライアントがプライベートデータを公開せずに、分散型で強力なグラフニューラルネットワーク(GNN)を協調的にトレーニングすることを可能にする新興技術である。
それでも、FGLは、特に様々な領域において、様々なノード構造とエッジ構造を持つグラフの厳密な非独立かつ独立に分散した(非IID)性質の課題に直面している。
したがって、これらの構造に固有の知識を探索することが極めて重要である。
しかし、既存の手法では、グラフデータに固有の構造的知識を見落としたり、資源需要が大幅に増加する(例えば、FLOPや通信帯域幅)コストでそれを捉えたり、分散パラダイムに有害である。
そこで本研究では,構造的知識の利用効率を最適化する新しいFGLフレームワークであるFedDenseを提案する。
FedDenseは、多様で未公開な構造の知識をよりよく取得するために、まず、ノード機能とともにグラフデータ自体に固有の構造的知識を明示的にエンコードする。
さらに、FedDenseはDual-Densely Connected (DDC) GNNアーキテクチャを導入し、各層に集約された特徴マップに埋め込まれたマルチスケール機能(つまり、ワンホップからマルチホップ)と構造的洞察を利用する。
本研究は,FGLにおける資源制限の活用に加えて,DDCアーキテクチャ上に非常に狭い層を創出し,資源コストを大幅に削減するために選択的なパラメータ共有戦略を採用することを目的としている。
4つの異なるドメインで15のデータセットを使用して広範な実験を行い、FedDenseが最小限のリソースを要求しながら、トレーニングパフォーマンスの大きなマージンでベースラインを一貫して上回っていることを示した。
関連論文リスト
- FedSSP: Federated Graph Learning with Spectral Knowledge and Personalized Preference [31.796411806840087]
フェデレートされたグラフ学習(pFGL)は、プライバシーを損なうことなく、グラフニューラルネットワーク(GNN)の分散トレーニングを容易にする。
それまでのpFGLメソッドは、非ジェネリックな知識を全世界で誤って共有し、パーソナライズされたソリューションをローカルにカスタマイズできなかった。
提案するpFGLフレームワークであるFedSSPを提案する。
論文 参考訳（メタデータ） (2024-10-26T07:09:27Z) - Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。
提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。
これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
論文 参考訳（メタデータ） (2024-09-09T12:56:02Z) - DGNN: Decoupled Graph Neural Networks with Structural Consistency
between Attribute and Graph Embedding Representations [62.04558318166396]
グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。
ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。
複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
論文 参考訳（メタデータ） (2024-01-28T06:43:13Z) - Learning Knowledge-Enhanced Contextual Language Representations for
Domain Natural Language Understanding [46.00400830499326]
我々は,様々なclosed dOmains(KANGAROO)のための知識強化型LANGuAge表現学習フレームワークを提案する。
実験では, 各種知識認識タスクおよび一般NLPタスクに対して, フルおよび少数ショットの学習環境において, カンガロオの評価を行った。
論文 参考訳（メタデータ） (2023-11-12T07:37:24Z) - Privacy-preserving design of graph neural networks with applications to
vertical federated learning [56.74455367682945]
VESPERと呼ばれるエンドツーエンドのグラフ表現学習フレームワークを提案する。
VESPERは、適切なプライバシー予算の下でスパースグラフと密度グラフの両方で高性能なGNNモデルをトレーニングすることができる。
論文 参考訳（メタデータ） (2023-10-31T15:34:59Z) - Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。
非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
論文 参考訳（メタデータ） (2023-05-29T04:51:09Z) - Federated Learning on Non-IID Graphs via Structural Knowledge Sharing [47.140441784462794]
フェデレーショングラフ学習(FGL)により、クライアントはプライベートデータを共有せずに、分散型で強力なGNNモデルをトレーニングできる。
我々はFedStarというFGLフレームワークを提案し、グラフ間学習タスクの共通基盤構造情報を抽出し、共有する。
クロスデータセットとクロスドメインのFGL設定の両方に対して広範な実験を行い、FedStarの優位性を実証した。
論文 参考訳（メタデータ） (2022-11-23T15:12:16Z) - Beyond Localized Graph Neural Networks: An Attributed Motif
Regularization Framework [6.790281989130923]
InfoMotifは、グラフ上の半教師付き、モチーフ正規化、学習フレームワークである。
グラフニューラルネットワーク(GNN)におけるメッセージパッシングの2つの重要な制限を克服する。
6つの多種多様な実世界のデータセットで有意な増加(3-10%の精度)を示した。
論文 参考訳（メタデータ） (2020-09-11T02:03:09Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳（メタデータ） (2020-09-08T13:10:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。