論文の概要: Tensor Decomposition based Personalized Federated Learning
- arxiv url: http://arxiv.org/abs/2208.12959v1
- Date: Sat, 27 Aug 2022 08:09:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-30 14:16:32.649758
- Title: Tensor Decomposition based Personalized Federated Learning
- Title(参考訳): テンソル分解に基づく個人化フェデレーション学習
- Authors: Qing Wang, Jing Jin, Xiaofeng Liu, Huixuan Zong, Yunfeng Shao,
Yinchuan Li
- Abstract要約: Federated Learning(FL)は、ユーザのプライベートデータを収集することなく、確実に協調的なトレーニングを実現する、新しい分散機械学習フレームワークである。
FLの頻繁なコミュニケーションと平均集約戦略により、統計多様性データや大規模モデルへのスケーリングが困難になる。
本稿では,分解に基づくパーソナライズドラーニング(TDPFed)と呼ばれるFLフレームワークを提案する。このフレームワークでは,テンソル化線形層と畳み込み層を持つ新しいテンソル化局所モデルを設計し,通信コストを削減する。
- 参考スコア(独自算出の注目度): 12.420951968273574
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a new distributed machine learning framework that
can achieve reliably collaborative training without collecting users' private
data. However, due to FL's frequent communication and average aggregation
strategy, they experience challenges scaling to statistical diversity data and
large-scale models. In this paper, we propose a personalized FL framework,
named Tensor Decomposition based Personalized Federated learning (TDPFed), in
which we design a novel tensorized local model with tensorized linear layers
and convolutional layers to reduce the communication cost. TDPFed uses a
bi-level loss function to decouple personalized model optimization from the
global model learning by controlling the gap between the personalized model and
the tensorized local model. Moreover, an effective distributed learning
strategy and two different model aggregation strategies are well designed for
the proposed TDPFed framework. Theoretical convergence analysis and thorough
experiments demonstrate that our proposed TDPFed framework achieves
state-of-the-art performance while reducing the communication cost.
- Abstract(参考訳): Federated Learning(FL)は、ユーザのプライベートデータを収集することなく、確実に協調的なトレーニングを実現する、新しい分散機械学習フレームワークである。
しかしながら、flの頻繁なコミュニケーションと平均集約戦略のため、統計多様性データや大規模モデルへのスケーリングが困難である。
本稿では,テンソル分解に基づく個人化フェデレーション学習(TDPFed)というFLフレームワークを提案する。このフレームワークでは,テンソル化線形層と畳み込み層を有する新しいテンソル化局所モデルを設計し,通信コストを削減する。
TDPFedは、パーソナライズされたモデルとテンソル化された局所モデルとのギャップを制御することにより、パーソナライズされたモデル最適化をグローバルモデル学習から切り離すために、バイレベルロス関数を使用する。
さらに,提案するtdpfedフレームワークでは,効果的な分散学習戦略と2つの異なるモデル集約戦略がうまく設計されている。
理論的収束解析と徹底的な実験により,提案するTDPFedフレームワークが通信コストを低減しつつ,最先端の性能を実現することを示す。
関連論文リスト
- Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Straggler-resilient Federated Learning: Tackling Computation
Heterogeneity with Layer-wise Partial Model Training in Mobile Edge Network [4.1813760301635705]
本稿では,FedPMT(Federated partial Model Training)を提案する。
したがって、FedPMTのすべてのデバイスは、グローバルモデルの最も重要な部分を優先している。
実証的な結果は、FedPMTが既存のベンチマークFedDropを大きく上回っていることを示している。
論文 参考訳(メタデータ) (2023-11-16T16:30:04Z) - ZooPFL: Exploring Black-box Foundation Models for Personalized Federated
Learning [95.64041188351393]
本稿では,限られた資源とパーソナライゼーションの両課題を解決しようと試みる。
個人化フェデレート学習におけるゼロ階最適化を用いたZOOPFLという手法を提案する。
計算コストの削減とパーソナライゼーションの向上を目的として,低次元およびクライアント固有の埋め込みを持つオートエンコーダを組み込む入力手術を提案する。
論文 参考訳(メタデータ) (2023-10-08T12:26:13Z) - Towards More Suitable Personalization in Federated Learning via
Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。
共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。
共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文 参考訳(メタデータ) (2023-05-24T13:52:18Z) - Vertical Federated Learning over Cloud-RAN: Convergence Analysis and
System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。
アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。
我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文 参考訳(メタデータ) (2023-05-04T09:26:03Z) - Personalized Federated Learning via Gradient Modulation for
Heterogeneous Text Summarization [21.825321314169642]
本研究では,グローバルモデルを生データを共有せずに協調学習方法で共有することのできる,連合学習テキスト要約方式を提案する。
FedSUMMはタスク固有テキスト要約のためのPFLアルゴリズム上でより高速なモデル収束を実現することができる。
論文 参考訳(メタデータ) (2023-04-23T03:18:46Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。
また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文 参考訳(メタデータ) (2020-12-01T11:46:03Z) - Distillation-Based Semi-Supervised Federated Learning for
Communication-Efficient Collaborative Training with Non-IID Private Data [8.935169114460663]
本研究では,主にインクリメンタルなコミュニケーションコストを克服するフェデレートラーニング(FL)フレームワークを開発する。
モバイル端末間でローカルモデルの出力を交換する蒸留に基づく半教師付きFLアルゴリズムを提案する。
DS-FLでは、通信コストはモデルの出力次元にのみ依存し、モデルサイズに応じてスケールアップしない。
論文 参考訳(メタデータ) (2020-08-14T03:47:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。