論文の概要: FedLoRD: Personalized Federated Learning based on Low-Rank Structures of Model Parameter Differences
- arxiv url: http://arxiv.org/abs/2610.17621v1
- Date: Tue, 13 Oct 2026 02:44:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 18:06:32.432774
- Title: FedLoRD: Personalized Federated Learning based on Low-Rank Structures of Model Parameter Differences
- Title（参考訳）: FedLoRD:モデルパラメータの低ランク構造に基づく個人化フェデレーション学習
- Abstract要約: FedLoRDは、グローバルモデルパラメータとパーソナライズモデルパラメータの違いの低ランク構造に基づくパーソナライズド・フェデレーション・ラーニング(PFL)手法である。
PFLは、各クライアントのローカルデータに適したモデルをバイアス付きローカルデータ分散の下で学習することを目的とした、フェデレーション付き学習のブランチである。
- 参考スコア（独自算出の注目度）: 10.686270934646778
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose FedLoRD, a personalized federated learning (PFL) method based on the low-rank structure of the differences between the global and personalized model parameters. PFL is a branch of federated learning that aims to learn models tailored to the local data of each client under biased local data distributions. In its local training, each client learns a personalized model by regularizing the difference between its model parameters and the global ones sent from the server. The regularization function needs to be designed with priors on the model parameter difference; however, the existing PFL methods rely on empirical choices (e.g., $\ell_1$- and $\ell_2$-norms), which do not take into account the actual characteristics of the difference. The resulting mismatch of priors can lead to suboptimal personalized models. To address this issue, we propose a PFL method whose regularizer is built on an observed characteristic of the model parameter differences: they are approximately low-rank at every layer. In our method, we first formulate a local training problem with nuclear norm regularization on the layer-wise differences. We further rewrite this problem via the factorized representation of the nuclear norm so that it can be efficiently solved by a plain stochastic gradient descent method. Image classification experiments on three benchmark datasets demonstrate that FedLoRD outperforms several existing PFL methods.
- Abstract（参考訳）: 我々は、グローバルモデルパラメータとパーソナライズモデルパラメータの違いの低ランク構造に基づく、パーソナライズド・フェデレーション・ラーニング(PFL)手法であるFedLoRDを提案する。
PFLは、各クライアントのローカルデータに適したモデルをバイアス付きローカルデータ分散の下で学習することを目的とした、フェデレーション付き学習のブランチである。
ローカルトレーニングでは、各クライアントは、モデルパラメータとサーバから送信されるグローバルパラメータの違いを規則化し、パーソナライズされたモデルを学ぶ。
正規化関数は、モデルパラメータの差に先立って設計する必要があるが、既存のPFLメソッドは、差の実際の特性を考慮していない経験的選択(例えば、$\ell_1$-および$\ell_2$-norms)に依存している。
結果として生じる事前のミスマッチは、最適以下のパーソナライズされたモデルにつながる可能性がある。
この問題に対処するために,モデルパラメータ差の観測特性に基づいて正規化器を構築するPFL法を提案する。
本手法では,まず,原子核ノルムの正則化による局所的な訓練問題を,層間差分に基づいて定式化する。
さらに、この問題を原子核ノルムの因子化表現によって書き直し、平面確率勾配降下法により効率よく解けるようにした。
3つのベンチマークデータセット上の画像分類実験は、FedLoRDが既存のPFL法よりも優れていることを示した。
関連論文リスト
- MAP: Model Aggregation and Personalization in Federated Learning with Incomplete Classes [49.22075916259368]
一部の実世界のアプリケーションでは、データサンプルは通常、ローカルデバイスに分散される。
本稿では,クライアントが不完全なクラスを所有する特別なI.I.D.シーンに焦点を当てる。
提案するMAPアルゴリズムは,FLにおけるアグリゲーションとパーソナライゼーションの目標を同時に達成できる。
論文 参考訳（メタデータ） (2024-04-14T12:22:42Z) - PRIOR: Personalized Prior for Reactivating the Information Overlooked in
Federated Learning [16.344719695572586]
各クライアントのグローバルモデルにパーソナライズされた事前知識を注入する新しいスキームを提案する。
提案したアプローチの中心は,Bregman Divergence (pFedBreD) による PFL フレームワークである。
提案手法は5つのデータセット上での最先端のパフォーマンスに到達し、8つのベンチマークで最大3.5%性能を向上する。
論文 参考訳（メタデータ） (2023-10-13T15:21:25Z) - FedPerfix: Towards Partial Model Personalization of Vision Transformers
in Federated Learning [9.950367271170592]
視覚変換器モデル(ViT)のパーソナライズ方法について検討する。
自己注意層と分類ヘッドがViTの最も敏感な部分であるという知見に基づいて、FedPerfixと呼ばれる新しいアプローチを提案する。
CIFAR-100、OrganAMNIST、Office-Homeのデータセットに対する提案手法の評価を行い、いくつかの先進的なPFL手法と比較してその効果を実証した。
論文 参考訳（メタデータ） (2023-08-17T19:22:30Z) - NeFL: Nested Model Scaling for Federated Learning with System Heterogeneous Clients [44.89061671579694]
フェデレートラーニング(FL)は、データのプライバシを保ちながら分散トレーニングを可能にするが、ストラグラーのスローあるいは無効なクライアントは、トレーニング時間を大幅に短縮し、パフォーマンスを低下させる。
深層ニューラルネットワークを深層スケールと幅ワイドスケーリングの両方を用いてサブモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。
NeFLは、特に最低ケースのサブモデルでは、ベースラインアプローチに比べてパフォーマンスが向上する。
論文 参考訳（メタデータ） (2023-08-15T13:29:14Z) - Towards More Suitable Personalization in Federated Learning via
Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。
共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。
共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文 参考訳（メタデータ） (2023-05-24T13:52:18Z) - Confidence-aware Personalized Federated Learning via Variational
Expectation Maximization [34.354154518009956]
パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。
PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。
階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-21T20:12:27Z) - Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。
CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文 参考訳（メタデータ） (2023-03-15T15:02:15Z) - Personalized Federated Learning with Hidden Information on Personalized
Prior [18.8426865970643]
本稿では,Bregmanの発散正規化を用いたモデル化のためのフレームワークであるpFedBreDを提案する。
実験の結果,提案手法は複数の公開ベンチマークにおいて他のPFLアルゴリズムよりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-11-19T12:45:19Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
フェデレートラーニング(FL)は異種分散データに対して脆弱である。
この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。
既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。
我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
論文 参考訳（メタデータ） (2022-01-27T08:43:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。