論文の概要: M3FGM:a node masking and multi-granularity message passing-based
federated graph model for spatial-temporal data prediction
- arxiv url: http://arxiv.org/abs/2210.16193v3
- Date: Thu, 7 Sep 2023 08:57:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-08 17:56:33.235797
- Title: M3FGM:a node masking and multi-granularity message passing-based
federated graph model for spatial-temporal data prediction
- Title(参考訳): M3FGM:ノードマスキングと多粒度メッセージパスベースフェデレーショングラフモデルによる時空間データ予測
- Authors: Yuxing Tian, Zheng Liu, Yanwen Qu, Song Li, Jiachi Luo
- Abstract要約: 本稿では,ノードbfseries Maskingとbfseries Multi-granularity bfseries Message passing-based Federated Graph Model (M$3$FGM) という新しいGNN指向の分割学習手法を提案する。
最初の問題として、M$3$FGMのサーバモデルは、クライアントがオフラインであるケースをシミュレートするためにMaskNodeレイヤを使用している。
また、クライアントモデルのデコーダもデュアルサブデコーダ構造を使用しており、各クライアントモデルはそのローカルデータを使用してオフライン時に独立して予測できる。
- 参考スコア(独自算出の注目度): 6.9141842767826605
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Researchers are solving the challenges of spatial-temporal prediction by
combining Federated Learning (FL) and graph models with respect to the
constrain of privacy and security. In order to make better use of the power of
graph model, some researchs also combine split learning(SL). However, there are
still several issues left unattended: 1) Clients might not be able to access
the server during inference phase; 2) The graph of clients designed manually in
the server model may not reveal the proper relationship between clients. This
paper proposes a new GNN-oriented split federated learning method, named node
{\bfseries M}asking and {\bfseries M}ulti-granularity {\bfseries M}essage
passing-based Federated Graph Model (M$^3$FGM) for the above issues. For the
first issue, the server model of M$^3$FGM employs a MaskNode layer to simulate
the case of clients being offline. We also redesign the decoder of the client
model using a dual-sub-decoders structure so that each client model can use its
local data to predict independently when offline. As for the second issue, a
new GNN layer named Multi-Granularity Message Passing (MGMP) layer enables each
client node to perceive global and local information. We conducted extensive
experiments in two different scenarios on two real traffic datasets. Results
show that M$^3$FGM outperforms the baselines and variant models, achieves the
best results in both datasets and scenarios.
- Abstract(参考訳): 研究者たちは、プライバシーとセキュリティの制約に関して、連合学習(fl)とグラフモデルを組み合わせることで、空間-時間予測の課題を解決している。
グラフモデルのパワーをよりよく活用するために、いくつかの研究は分割学習(SL)も組み合わせている。
しかし、未解決の問題がいくつか残っている。
1) クライアントは,推論フェーズ中にサーバにアクセスできないかもしれない。
2) サーバモデルで手動で設計したクライアントのグラフは,クライアント間の適切な関係を明らかにするものではない。
本稿では,これらの問題に対して,新しいgnn指向分割フェデレート学習法であるnode {\bfseries m}asking と {\bfseries m}ulti-granularity {\bfseries m}essage passing-based federated graph model (m$^3$fgm)を提案する。
最初の問題として、m$^3$fgmのサーバモデルは、クライアントがオフラインの場合をシミュレートするためにマスクノード層を使用している。
また、クライアントモデルのデコーダをデュアルサブデコーダ構造で再設計し、各クライアントモデルがそのローカルデータをオフライン時に独立して予測できるようにします。
2つ目の問題として、MGMP(Multi-Granularity Message Passing)層と呼ばれる新しいGNN層が、各クライアントノードがグローバルおよびローカル情報を知覚できるようにする。
2つの実トラフィックデータセット上で2つの異なるシナリオで広範な実験を行った。
その結果、M$^3$FGMはベースラインと変種モデルより優れており、データセットとシナリオの両方で最高の結果が得られることがわかった。
関連論文リスト
- FedGT: Federated Node Classification with Scalable Graph Transformer [27.50698154862779]
本稿では,スケーラブルな textbfFederated textbfGraph textbfTransformer (textbfFedGT) を提案する。
FedGTは、最適なトランスポートで整列したグローバルノードに基づいて、クライアントの類似性を計算する。
論文 参考訳(メタデータ) (2024-01-26T21:02:36Z) - Replica Tree-based Federated Learning using Limited Data [6.572149681197959]
本研究では,RepTreeFLという新しいフェデレーション学習フレームワークを提案する。
ソリューションの中核はレプリカの概念であり、モデルアーキテクチャをコピーし、ローカルなデータ分散を摂動することで、各クライアントを複製します。
当社のアプローチでは,データ分布の多様さで多数のモデルを集約することで,限られたデータと少数のクライアントから学習することが可能である。
論文 参考訳(メタデータ) (2023-12-28T17:47:25Z) - FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the
Power of Heterogeneous Clients [50.13097183691517]
実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。
本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。
各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。
アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
論文 参考訳(メタデータ) (2023-11-19T04:43:16Z) - Federated Learning with Neural Graphical Models [2.6842860806280058]
フェデレートラーニング(FL)は、プロプライエタリなデータに基づいたモデルを作成する必要性に対処する。
近年提案されているニューラルグラフモデル(NGM)は、ニューラルネットワークの表現力を利用する確率的グラフィカルモデルである。
我々は,局所的なNGMモデルから平均情報を学習するグローバルなNGMモデルを維持するFLフレームワークを開発した。
論文 参考訳(メタデータ) (2023-09-20T23:24:22Z) - Prototype Helps Federated Learning: Towards Faster Convergence [38.517903009319994]
Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。
本稿では,従来のフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,推論性能を向上する,プロトタイプベースのフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-22T04:06:29Z) - Federated Adaptive Prompt Tuning for Multi-Domain Collaborative Learning [44.604485649167216]
フェデレートラーニング(FL)は、複数のクライアントがデータを開示することなく、協力的にグローバルモデルをトレーニングすることを可能にする。
多領域協調画像分類のためのフェデレーション適応型プロンプトチューニングアルゴリズムであるFedAPTを提案する。
論文 参考訳(メタデータ) (2022-11-15T03:10:05Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳(メタデータ) (2022-11-10T13:20:56Z) - MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs [55.66953093401889]
Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。
自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
論文 参考訳(メタデータ) (2022-01-07T16:48:07Z) - An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。
本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。
我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文 参考訳(メタデータ) (2021-11-19T12:58:59Z) - Federated Unsupervised Representation Learning [56.715917111878106]
フェデレート非教師表現学習(FURL)と呼ばれるフェデレーション学習における新しい問題を定式化し、教師なしの共通表現モデルを学習する。
FedCAは2つの主要なモジュールで構成されている: 辞書モジュールは、各クライアントからのサンプルの表現を集約し、表現空間の整合性のためにすべてのクライアントと共有し、アライメントモジュールは、公開データに基づいてトレーニングされたベースモデル上で各クライアントの表現を整合させる。
論文 参考訳(メタデータ) (2020-10-18T13:28:30Z) - Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。
PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
論文 参考訳(メタデータ) (2020-07-07T03:36:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。