論文の概要: Communication-Efficient Personalized Federal Graph Learning via Low-Rank Decomposition
- arxiv url: http://arxiv.org/abs/2412.13442v1
- Date: Wed, 18 Dec 2024 02:26:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-19 16:48:35.446775
- Title: Communication-Efficient Personalized Federal Graph Learning via Low-Rank Decomposition
- Title（参考訳）: 低ランク分解によるコミュニケーション効率の良い個人化フェデラルグラフ学習
- Authors: Ruyue Liu, Rong Yin, Xiangzhen Bo, Xiaoshuai Hao, Xingrui Zhou, Yong Liu, Can Ma, Weiping Wang,
- Abstract要約: 通信効率の高いグラフ学習アルゴリズムであるCEFGLを提案する。
提案手法は,モデルパラメータを低ランクなジェネリックモデルとスパースなプライベートモデルに分解する。
局所的な知識をパーソナライズされた方法で学習するために,デュアルチャネルエンコーダを用いる。
- 参考スコア（独自算出の注目度）: 18.99572321624751
- License:
- Abstract: Federated graph learning (FGL) has gained significant attention for enabling heterogeneous clients to process their private graph data locally while interacting with a centralized server, thus maintaining privacy. However, graph data on clients are typically non-IID, posing a challenge for a single model to perform well across all clients. Another major bottleneck of FGL is the high cost of communication. To address these challenges, we propose a communication-efficient personalized federated graph learning algorithm, CEFGL. Our method decomposes the model parameters into low-rank generic and sparse private models. We employ a dual-channel encoder to learn sparse local knowledge in a personalized manner and low-rank global knowledge in a shared manner. Additionally, we perform multiple local stochastic gradient descent iterations between communication phases and integrate efficient compression techniques into the algorithm. The advantage of CEFGL lies in its ability to capture common and individual knowledge more precisely. By utilizing low-rank and sparse parameters along with compression techniques, CEFGL significantly reduces communication complexity. Extensive experiments demonstrate that our method achieves optimal classification accuracy in a variety of heterogeneous environments across sixteen datasets. Specifically, compared to the state-of-the-art method FedStar, the proposed method (with GIN as the base model) improves accuracy by 5.64\% on cross-datasets setting CHEM, reduces communication bits by a factor of 18.58, and reduces the communication time by a factor of 1.65.
- Abstract（参考訳）: フェデレーショングラフ学習(FGL)は、異種クライアントが集中型サーバと対話しながらプライベートグラフデータをローカルに処理し、プライバシを維持することで大きな注目を集めている。
しかしながら、クライアント上のグラフデータは一般的にIIDではないため、単一のモデルがすべてのクライアントでうまく機能することを困難にしている。
FGLのもう一つの大きなボトルネックは、高い通信コストである。
これらの課題に対処するために,通信効率の高い個人化グラフ学習アルゴリズムであるCEFGLを提案する。
提案手法は,モデルパラメータを低ランクなジェネリックモデルとスパースなプライベートモデルに分解する。
両チャネルエンコーダを用いて、パーソナライズされたローカルな知識と低ランクなグローバルな知識を共有的に学習する。
さらに、通信相間で複数の局所確率勾配降下繰り返しを行い、効率的な圧縮手法をアルゴリズムに統合する。
CEFGLの利点は、共通の知識と個人の知識をより正確に捉える能力にある。
低ランクおよびスパースパラメータと圧縮技術を利用することで、CEFGLは通信の複雑さを著しく低減する。
大規模な実験により、16個のデータセットにわたる異種環境の最適分類精度が得られた。
具体的には、最先端のFedStarと比較して、提案手法は(ベースモデルとしてGINを用いる)クロスデータセット設定CHEMの精度を5.64倍に改善し、通信ビットを18.58倍に削減し、通信時間を1.65倍に短縮する。
関連論文リスト
- Towards Personalized Federated Node Classification in One-shot Communication [27.325478113745206]
ノード分類のための一括パーソナライズされたフェデレーショングラフ学習法を提案する。
提案手法は,サーバ上にグローバルな擬似グラフを構築するために,クラスワイズ特徴分布統計を推定し,集約する。
提案手法は様々な設定において最先端のベースラインを著しく上回る。
論文 参考訳（メタデータ） (2024-11-18T05:59:29Z) - Personalized Federated Learning for Cross-view Geo-localization [49.40531019551957]
本稿では,フェデレート・ラーニング (FL) とクロスビュー・イメージ・ジオローカライゼーション (CVGL) 技術を組み合わせた方法論を提案する。
提案手法では, クライアントが粗い特徴抽出器のみを共有しながら, 局所環境に特有のきめ細かな特徴を保持する, 粗い特徴抽出器を実装している。
その結果,フェデレートCVGL法は,データプライバシを維持しつつ,集中的なトレーニングに近い性能を実現することができた。
論文 参考訳（メタデータ） (2024-11-07T13:25:52Z) - FedLog: Personalized Federated Classification with Less Communication and More Flexibility [24.030147353437382]
フェデレーション表現学習(FRL)は、ローカルデータから効果的な特徴抽出によるパーソナライズされたフェデレーションモデルを学習することを目的としている。
オーバヘッドを低減するため、生モデルパラメータの代わりに十分なデータサマリーを共有することを提案する。
論文 参考訳（メタデータ） (2024-07-11T09:40:29Z) - Personalized federated learning based on feature fusion [2.943623084019036]
フェデレートされた学習により、分散クライアントは、クライアントのプライバシを保護するためにデータをローカルに保存しながら、トレーニングで協力することができる。
pFedPMと呼ばれる個人化学習手法を提案する。
このプロセスでは、従来のグラデーションアップロードを機能アップロードに置き換え、通信コストを削減し、異種クライアントモデルを可能にする。
論文 参考訳（メタデータ） (2024-06-24T12:16:51Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Distributed Learning over Networks with Graph-Attention-Based
Personalization [49.90052709285814]
分散ディープラーニングのためのグラフベースパーソナライズアルゴリズム(GATTA)を提案する。
特に、各エージェントのパーソナライズされたモデルは、グローバルな部分とノード固有の部分で構成される。
グラフ内の各エージェントを1つのノードとして扱うことにより、ノード固有のパラメータを特徴として扱うことにより、グラフアテンション機構の利点を継承することができる。
論文 参考訳（メタデータ） (2023-05-22T13:48:30Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳（メタデータ） (2022-06-01T02:20:57Z) - SPATL: Salient Parameter Aggregation and Transfer Learning for
Heterogeneous Clients in Federated Learning [3.5394650810262336]
効率的なフェデレーション学習は、エッジデバイス上でAIモデルをトレーニングしデプロイする上で重要な課題の1つだ。
フェデレーション学習におけるデータのプライバシの維持は、データの均一性、高価な通信コスト、限られたリソースなど、いくつかの課題を引き起こす。
本稿では,ローカルクライアントの深層強化学習に基づく有能なパラメータ選択エージェントを提案し,選択した有能なパラメータを中央サーバに集約する。
論文 参考訳（メタデータ） (2021-11-29T06:28:05Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。