論文の概要: FedGraph: Federated Graph Learning with Intelligent Sampling
- arxiv url: http://arxiv.org/abs/2111.01370v1
- Date: Tue, 2 Nov 2021 04:58:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-03 14:37:21.863071
- Title: FedGraph: Federated Graph Learning with Intelligent Sampling
- Title（参考訳）: FedGraph: インテリジェントサンプリングによるグラフ学習
- Authors: Fahao Chen, Peng Li, Toshiaki Miyazaki, and Celimuge Wu
- Abstract要約: フェデレーション学習は、分散機械学習におけるプライバシー保護のために、多くの研究の注目を集めている。
既存のフェデレーション学習の作業は主に畳み込みニューラルネットワーク(CNN)に焦点を当てており、多くのアプリケーションで人気のあるグラフデータを効率的に扱えない。
本稿では,複数のコンピュータクライアント間でのフェデレーショングラフ学習のためのFedGraphを提案する。
- 参考スコア（独自算出の注目度）: 7.798227884125872
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated learning has attracted much research attention due to its privacy
protection in distributed machine learning. However, existing work of federated
learning mainly focuses on Convolutional Neural Network (CNN), which cannot
efficiently handle graph data that are popular in many applications. Graph
Convolutional Network (GCN) has been proposed as one of the most promising
techniques for graph learning, but its federated setting has been seldom
explored. In this paper, we propose FedGraph for federated graph learning among
multiple computing clients, each of which holds a subgraph. FedGraph provides
strong graph learning capability across clients by addressing two unique
challenges. First, traditional GCN training needs feature data sharing among
clients, leading to risk of privacy leakage. FedGraph solves this issue using a
novel cross-client convolution operation. The second challenge is high GCN
training overhead incurred by large graph size. We propose an intelligent graph
sampling algorithm based on deep reinforcement learning, which can
automatically converge to the optimal sampling policies that balance training
speed and accuracy. We implement FedGraph based on PyTorch and deploy it on a
testbed for performance evaluation. The experimental results of four popular
datasets demonstrate that FedGraph significantly outperforms existing work by
enabling faster convergence to higher accuracy.
- Abstract（参考訳）: 分散機械学習におけるプライバシ保護のため、連合学習は研究の注目を集めている。
しかし、既存の連合学習は主に畳み込みニューラルネットワーク(cnn)に焦点を当てており、多くのアプリケーションで使われているグラフデータを効率的に処理できない。
グラフ畳み込みネットワーク(GCN)はグラフ学習において最も有望な手法の1つとして提案されているが、そのフェデレートされた設定はめったに検討されていない。
本稿では,複数のコンピュータクライアント間でのフェデレーショングラフ学習のためのフェデレーショングラフを提案する。
FedGraphは2つのユニークな課題に対処することで、クライアント間で強力なグラフ学習機能を提供する。
まず、従来のGCNトレーニングでは、クライアント間での機能的なデータ共有が必要であるため、プライバシリークのリスクが生じる。
FedGraphは、新しいクロスクライアントの畳み込み操作を使用してこの問題を解決する。
第2の課題は,大きなグラフサイズによるGCNトレーニングのオーバーヘッドの増大だ。
本研究では,学習速度と精度のバランスをとる最適サンプリングポリシに自動収束可能な,深層強化学習に基づくインテリジェントグラフサンプリングアルゴリズムを提案する。
PyTorchをベースにFedGraphを実装し、パフォーマンス評価のためにテストベッドにデプロイします。
一般的な4つのデータセットの実験結果から、FedGraphはより高速な収束をより高い精度で実現することで、既存の作業を大幅に上回ることを示した。
関連論文リスト
- FedGraph: A Research Library and Benchmark for Federated Graph Learning [40.257355007504074]
我々はフェデレーショングラフ学習における分散デプロイとベンチマークのための研究ライブラリであるFedGraphを紹介する。
FedGraphは最先端のグラフ学習メソッドをサポートし、システムパフォーマンスを評価するための組み込みのプロファイリングツールを含んでいる。
1億のノードを持つグラフ上で実行される最初のプライバシ保護フェデレーション学習システムを実演する。
論文 参考訳（メタデータ） (2024-10-08T20:18:18Z) - One Node Per User: Node-Level Federated Learning for Graph Neural Networks [7.428431479479646]
ノードレベルのフェデレーショングラフ学習のための新しいフレームワークを提案する。
特徴ベクトルの潜在表現に基づくグラフラプラシアン項を導入し,ユーザ側モデル更新を制御する。
論文 参考訳（メタデータ） (2024-09-29T02:16:07Z) - OpenGraph: Towards Open Graph Foundation Models [20.401374302429627]
グラフニューラルネットワーク(GNN)は、構造情報を符号化するための有望な技術として登場した。
主な課題は、異なる性質を持つグラフデータを一般化することの難しさである。
この課題に対処するために,OpenGraphと呼ばれる新しいグラフ基盤モデルを提案する。
論文 参考訳（メタデータ） (2024-03-02T08:05:03Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳（メタデータ） (2023-08-03T07:00:04Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - GraphMI: Extracting Private Graph Data from Graph Neural Networks [59.05178231559796]
GNNを反転させてトレーニンググラフのプライベートグラフデータを抽出することを目的とした textbfGraph textbfModel textbfInversion attack (GraphMI) を提案する。
具体的には,グラフ特徴の空間性と滑らかさを保ちながら,グラフエッジの離散性に対処する勾配モジュールを提案する。
エッジ推論のためのグラフトポロジ、ノード属性、ターゲットモデルパラメータを効率的に活用するグラフ自動エンコーダモジュールを設計する。
論文 参考訳（メタデータ） (2021-06-05T07:07:52Z) - GraphTheta: A Distributed Graph Neural Network Learning System With
Flexible Training Strategy [5.466414428765544]
新しい分散グラフ学習システムGraphThetaを紹介します。
複数のトレーニング戦略をサポートし、大規模グラフ上で効率的でスケーラブルな学習を可能にします。
この仕事は、文学における10億規模のネットワーク上で実施された最大のエッジアトリビュートGNN学習タスクを表します。
論文 参考訳（メタデータ） (2021-04-21T14:51:33Z) - Co-embedding of Nodes and Edges with Graph Neural Networks [13.020745622327894]
グラフ埋め込みは、高次元および非ユークリッド特徴空間でデータ構造を変換しエンコードする方法である。
CensNetは一般的なグラフ埋め込みフレームワークで、ノードとエッジの両方を潜在機能空間に埋め込む。
提案手法は,4つのグラフ学習課題における最先端のパフォーマンスを達成または一致させる。
論文 参考訳（メタデータ） (2020-10-25T22:39:31Z) - Graph Contrastive Learning with Augmentations [109.23158429991298]
グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。
我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
論文 参考訳（メタデータ） (2020-10-22T20:13:43Z) - Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。
高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。
このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
論文 参考訳（メタデータ） (2020-07-03T09:30:07Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-06-17T16:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。