論文の概要: Sheaf HyperNetworks for Personalized Federated Learning
- arxiv url: http://arxiv.org/abs/2405.20882v1
- Date: Fri, 31 May 2024 14:55:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-03 14:08:24.865238
- Title: Sheaf HyperNetworks for Personalized Federated Learning
- Title（参考訳）: 個人化フェデレーション学習のためのSheaf HyperNetworks
- Authors: Bao Nguyen, Lorenzo Sani, Xinchi Qiu, Pietro Liò, Nicholas D. Lane,
- Abstract要約: グラフハイパーネット(GHN)は、ニューラルネットワーク検索、分子特性予測、フェデレーション学習など、さまざまな領域にわたるデータを活用する。
本稿では,GHNが過剰なスムースやヘテロフィリーなどの性能を損なう問題を示す。
本稿では,HN と HN を併用し,パーソナライズされた学習のためのパラメータ共有を改善する HN の新たなクラスである Sheaf Hypernetworks (SHNs) を提案する。
- 参考スコア（独自算出の注目度）: 27.13292692087916
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph hypernetworks (GHNs), constructed by combining graph neural networks (GNNs) with hypernetworks (HNs), leverage relational data across various domains such as neural architecture search, molecular property prediction and federated learning. Despite GNNs and HNs being individually successful, we show that GHNs present problems compromising their performance, such as over-smoothing and heterophily. Moreover, we cannot apply GHNs directly to personalized federated learning (PFL) scenarios, where a priori client relation graph may be absent, private, or inaccessible. To mitigate these limitations in the context of PFL, we propose a novel class of HNs, sheaf hypernetworks (SHNs), which combine cellular sheaf theory with HNs to improve parameter sharing for PFL. We thoroughly evaluate SHNs across diverse PFL tasks, including multi-class classification, traffic and weather forecasting. Additionally, we provide a methodology for constructing client relation graphs in scenarios where such graphs are unavailable. We show that SHNs consistently outperform existing PFL solutions in complex non-IID scenarios. While the baselines' performance fluctuates depending on the task, SHNs show improvements of up to 2.7% in accuracy and 5.3% in lower mean squared error over the best-performing baseline.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)とハイパーネットワーク(HN)を組み合わせることで構築されたグラフハイパーネットワーク(GHN)は、ニューラルネットワーク検索、分子特性予測、フェデレーション学習など、さまざまな領域にわたるリレーショナルデータを活用する。
GNN と HN は個別に成功したが,GHN は過度な平滑化やヘテロフィリーなどの性能を損なう問題を示す。
さらに、優先的なクライアント関係グラフが欠落している場合、プライベートあるいはアクセス不能な場合、パーソナライズド・フェデレーション・ラーニング(PFL)のシナリオにGHNを直接適用することはできない。
本稿では,これらの制約をPFLの文脈で緩和するために,細胞層理論とHNを結合してPFLのパラメータ共有を改善するHNs, Sheaf Hypernetworks (SHNs) の新たなクラスを提案する。
我々は,多クラス分類,交通,天気予報など多種多様なPFLタスクのSHNを徹底的に評価した。
さらに、そのようなグラフが利用できないシナリオにおいて、クライアント関係グラフを構築するための方法論を提供する。
SHNは複雑な非IIDシナリオにおいて既存のPFLソリューションより一貫して優れていることを示す。
ベースラインの性能はタスクによって変動するが、SHNは最大2.7%の精度と5.3%の低い平均二乗誤差の改善を示した。
関連論文リスト
- DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。
BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。
半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
論文 参考訳（メタデータ） (2024-06-04T07:24:51Z) - Fair Graph Neural Network with Supervised Contrastive Regularization [12.666235467177131]
公平性を考慮したグラフニューラルネットワーク(GNN)の学習モデルを提案する。
提案手法は, コントラスト損失と環境損失を統合し, 精度と公正性を両立させる。
論文 参考訳（メタデータ） (2024-04-09T07:49:05Z) - MAPPING: Debiasing Graph Neural Networks for Fair Node Classification
with Limited Sensitive Information Leakage [1.8238848494579714]
公正ノード分類のためのモデルに依存しない新しい脱バイアスフレームワーク MAPPing を提案する。
以上の結果から,MAPPingは実用性と公正性,および機密情報漏洩のプライバシーリスクとのトレードオフを良好に達成できることが示された。
論文 参考訳（メタデータ） (2024-01-23T14:59:46Z) - Chasing Fairness in Graphs: A GNN Architecture Perspective [73.43111851492593]
グラフニューラルネットワーク(GNN)の統一最適化フレームワーク内で設計されたtextsfFair textsfMessage textsfPassing(FMP)を提案する。
FMPでは、アグリゲーションがまず隣人の情報を活用するために採用され、バイアス軽減ステップにより、人口集団ノードのプレゼンテーションセンタが明示的に統合される。
ノード分類タスクの実験により、提案されたFMPは、実世界の3つのデータセットの公平性と正確性の観点から、いくつかのベースラインを上回っていることが示された。
論文 参考訳（メタデータ） (2023-12-19T18:00:15Z) - Privacy-preserving design of graph neural networks with applications to
vertical federated learning [56.74455367682945]
VESPERと呼ばれるエンドツーエンドのグラフ表現学習フレームワークを提案する。
VESPERは、適切なプライバシー予算の下でスパースグラフと密度グラフの両方で高性能なGNNモデルをトレーニングすることができる。
論文 参考訳（メタデータ） (2023-10-31T15:34:59Z) - T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。
実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文 参考訳（メタデータ） (2023-10-05T02:58:29Z) - FedHGN: A Federated Framework for Heterogeneous Graph Neural Networks [45.94642721490744]
不均一グラフニューラルネットワーク(HGNN)は、従来のGNNよりも、型付きグラフデータやリレーショナルグラフデータからより効果的に学習することができる。
より大きなパラメータ空間では、HGNNはより多くのトレーニングデータを必要とする可能性がある。
我々は,HGNNのための新規かつ汎用的なFGLフレームワークであるFedHGNを提案する。
論文 参考訳（メタデータ） (2023-05-16T18:01:49Z) - Relation Embedding based Graph Neural Networks for Handling
Heterogeneous Graph [58.99478502486377]
我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。
具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
論文 参考訳（メタデータ） (2022-09-23T05:24:18Z) - EvenNet: Ignoring Odd-Hop Neighbors Improves Robustness of Graph Neural
Networks [51.42338058718487]
グラフニューラルネットワーク(GNN)は、グラフ機械学習における有望なパフォーマンスについて、広範な研究の注目を集めている。
GCNやGPRGNNのような既存のアプローチは、テストグラフ上のホモフィリな変化に直面しても堅牢ではない。
偶数多項式グラフフィルタに対応するスペクトルGNNであるEvenNetを提案する。
論文 参考訳（メタデータ） (2022-05-27T10:48:14Z) - LPGNet: Link Private Graph Networks for Node Classification [37.26462186216589]
我々は、プライバシに敏感なエッジを持つグラフのトレーニングのために、LPGNetと呼ばれる新しいニューラルネットワークアーキテクチャを提案する。
LPGNetは、トレーニング中にグラフエッジ構造がどのように使用されるかという新しい設計を使用して、エッジに対する差分プライバシー保証を提供する。
論文 参考訳（メタデータ） (2022-05-06T09:38:35Z) - ASFGNN: Automated Separated-Federated Graph Neural Network [17.817867271722093]
本稿では,ASFGNN学習パラダイムを提案する。
我々は,ベンチマークデータセットの実験を行い,ASFGNNが有望なフェデレーションGNNよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-11-06T09:21:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。