論文の概要: Federated Graph Representation Learning using Self-Supervision
- arxiv url: http://arxiv.org/abs/2210.15120v1
- Date: Thu, 27 Oct 2022 02:13:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-28 14:57:38.683125
- Title: Federated Graph Representation Learning using Self-Supervision
- Title（参考訳）: 自己スーパービジョンを用いたフェデレーショングラフ表現学習
- Authors: Susheel Suresh, Danny Godbout, Arko Mukherjee, Mayank Shrivastava,
Jennifer Neville, Pan Li
- Abstract要約: フェデレートグラフ表現学習(FedGRL)は、データキュレーションに関連するプライバシーとコンプライアンスの問題に対処しながら、構造化データに分散トレーニングの利点をもたらす。
クロスサイロクライアントは、ラベル付きまたはラベルなしのデータで膨大な量のラベル付きデータにアクセスでき、また、下流クラスラベルドメインも多様である、現実的で斬新な問題設定を考察する。
我々は,自己監督的目標を用いて協調的に最適化された共有グローバルモデルを学習し,ローカルクライアントモデルを通じて下流タスクの監視を行うモデルに基づく新しいFedGRLの定式化を提案する。
- 参考スコア（独自算出の注目度）: 18.015793175772835
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated graph representation learning (FedGRL) brings the benefits of
distributed training to graph structured data while simultaneously addressing
some privacy and compliance concerns related to data curation. However, several
interesting real-world graph data characteristics viz. label deficiency and
downstream task heterogeneity are not taken into consideration in current
FedGRL setups. In this paper, we consider a realistic and novel problem
setting, wherein cross-silo clients have access to vast amounts of unlabeled
data with limited or no labeled data and additionally have diverse downstream
class label domains. We then propose a novel FedGRL formulation based on model
interpolation where we aim to learn a shared global model that is optimized
collaboratively using a self-supervised objective and gets downstream task
supervision through local client models. We provide a specific instantiation of
our general formulation using BGRL a SoTA self-supervised graph representation
learning method and we empirically verify its effectiveness through realistic
cross-slio datasets: (1) we adapt the Twitch Gamer Network which naturally
simulates a cross-geo scenario and show that our formulation can provide
consistent and avg. 6.1% gains over traditional supervised federated learning
objectives and on avg. 1.7% gains compared to individual client specific
self-supervised training and (2) we construct and introduce a new cross-silo
dataset called Amazon Co-purchase Networks that have both the characteristics
of the motivated problem setting. And, we witness on avg. 11.5% gains over
traditional supervised federated learning and on avg. 1.9% gains over
individually trained self-supervised models. Both experimental results point to
the effectiveness of our proposed formulation. Finally, both our novel problem
setting and dataset contributions provide new avenues for the research in
FedGRL.
- Abstract（参考訳）: フェデレートグラフ表現学習(FedGRL)は、データキュレーションに関連するプライバシーとコンプライアンスの問題に対処しながら、構造化データに分散トレーニングの利点をもたらす。
しかし、現在のFedGRLでは、ラベル不足や下流タスクの不均一性といった興味深い実世界のグラフデータの特徴を考慮に入れていない。
本稿では,クロスサイロクライアントがラベル付きデータやラベル付きデータを持たない膨大な量のラベル付きデータにアクセスでき,さらに下流のクラスラベルドメインも多様である,現実的で斬新な問題設定を考える。
そこで我々は,自己監督目的を用いて協調的に最適化し,ローカルクライアントモデルを通じて下流タスクを監督する共有グローバルモデルを学ぶことを目的とした,モデル補間に基づく新しいfeedgrl定式化を提案する。
我々は,SoTAの自己教師付きグラフ表現学習手法であるBGRLを用いて,汎用的な定式化の特定インスタンス化を行い,その有効性を現実的なクロススリオデータセットを通じて実証的に検証する。
6.1%が従来の教師付きフェデレーション学習目標およびavgを上回ります。
個々のクライアント固有の自己教師付きトレーニングと比較して1.7%向上し、(2)モチベーション問題の設定の特徴を持つamazon co-purchase networkと呼ばれる新しいクロスサイロデータセットを構築し、導入しました。
そして、私たちはavgを目撃します。
11.5%が従来の教師付きフェデレーション学習とavgで得ている。
個別に訓練された自己監督モデルに対する1.9%の上昇。
両方の実験結果から,提案手法の有効性が示唆された。
最後に、新しい問題設定とデータセットのコントリビューションの両方が、FedGRLの研究に新たな道を提供する。
関連論文リスト
- Toward Personalized Federated Node Classification in One-shot Communication [27.325478113745206]
ノード分類のための一括パーソナライズされたフェデレーショングラフ学習法を提案する。
提案手法は,サーバ上にグローバルな擬似グラフを構築するために,クラスワイズ特徴分布統計を推定し,集約する。
提案手法は様々な設定において最先端のベースラインを著しく上回る。
論文 参考訳（メタデータ） (2024-11-18T05:59:29Z) - Personalized federated learning based on feature fusion [2.943623084019036]
フェデレートされた学習により、分散クライアントは、クライアントのプライバシを保護するためにデータをローカルに保存しながら、トレーニングで協力することができる。
pFedPMと呼ばれる個人化学習手法を提案する。
このプロセスでは、従来のグラデーションアップロードを機能アップロードに置き換え、通信コストを削減し、異種クライアントモデルを可能にする。
論文 参考訳（メタデータ） (2024-06-24T12:16:51Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Independent Distribution Regularization for Private Graph Embedding [55.24441467292359]
グラフ埋め込みは属性推論攻撃の影響を受けやすいため、攻撃者は学習したグラフ埋め込みからプライベートノード属性を推測することができる。
これらの懸念に対処するため、プライバシ保護グラフ埋め込み手法が登場した。
独立分散ペナルティを正規化項として支援し, PVGAE(Private Variational Graph AutoEncoders)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-08-16T13:32:43Z) - Rethinking Data Heterogeneity in Federated Learning: Introducing a New
Notion and Standard Benchmarks [65.34113135080105]
我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。
私たちの観察は直感的である。
私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
論文 参考訳（メタデータ） (2022-09-30T17:15:19Z) - Analyzing the Effect of Sampling in GNNs on Individual Fairness [79.28449844690566]
グラフニューラルネットワーク(GNN)ベースの手法は、レコメンダシステムの分野を飽和させた。
我々は,GNNの学習を支援するために,グラフ上で個別の公平性を促進させる既存手法を拡張した。
本研究では,局所ニュアンスが表現学習における公平化促進の過程を導くことによって,ミニバッチトレーニングが個人の公正化を促進することを示す。
論文 参考訳（メタデータ） (2022-09-08T16:20:25Z) - FedEgo: Privacy-preserving Personalized Federated Graph Learning with
Ego-graphs [22.649780281947837]
いくつかの実践的なシナリオでは、グラフデータは複数の分散パーティに別々に格納されます。
上記の課題に対処するために,egoグラフに基づくフェデレーショングラフ学習フレームワークであるFedEgoを提案する。
論文 参考訳（メタデータ） (2022-08-29T15:47:36Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z) - CatFedAvg: Optimising Communication-efficiency and Classification
Accuracy in Federated Learning [2.2172881631608456]
そこで我々はCatFedAvgというフェデレート学習アルゴリズムを新たに導入した。
コミュニケーション効率は向上するが、NIST戦略のカテゴリカバレッジを用いて学習の質を向上させる。
実験の結果,FedAvgよりもネットワーク転送率が70%低いMデータセットでは,10%の絶対点精度が向上していることがわかった。
論文 参考訳（メタデータ） (2020-11-14T06:52:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。